Tutorial Melakukan Limit pada Crawlers, Scrapper, Bot

Juli 6, 2017

Halo, Sob! Kamu para blogger pasti kenal istilah crawler, bot atau scrapper ya. Nah, perlu diketahui, Sob kalau crawler, bot atau scrapper ini tidak berbahaya, Tapi kita perlu melakukan mekanisme limit, agar informasi pribadi kamu tidak tersebar. Umm, Terus kenapa banget kita harus melakukan limit? Simak informasinya berikut ini:

Mengapa Limit pada Crawlers, Scrapper, Bot Harus Dilakukan?

Crawlers, bot dan scrapper ini merupakan salah satu ancaman pada website, sebagai contoh ada pengunjung atau bot yang datang seolah-olah sebagai Crawlers google namun mereka hanya bertujuan untuk menyerang website anda seperti DDoS atau bisa juga bot tersebut mencuri data website anda seperti artikel dan sebagainya. Oleh karena itu diperlukan pembatasan gerak untuk crawler, bot dan scapper ini. Salah satu plugin wordpress yang mendukung hal ini adalah wordfence. Kamu bisa setting limitasi untuk crawler, bot dan scapper dengan panduan berikut:

Step 1 : Masuk ke wp admin

Opsi Wordfence

Step 2 : Masuk ke menu Wordfence – Option

Opsi Wordfence

Step 3 : Cari bagian “Rate Limiting Rule”

Limiting Rate

Step 4 : Kamu bisa setting sesuai kebutuhan kamu, namun yang paling penting adalah block fake google crawlers harus diaktifkan berikut setting rekomendasi kami

Immediately block fake Google crawlers: YES
How should we treat Google’s crawlers: Verified Google crawlers have unlimited access to this site
If anyone’s requests exceed: “30 per minute” then “block it“
If a crawler’s page views exceed: “30 per minute” then “block it“
If a crawler’s pages not found (404s) exceed: “30 per minute” then “block it“
If a human’s page views exceed: “30 per minute” then “block it“
If a human’s pages not found (404s) exceed: “30 per minute” then “block it“
If 404s for known vulnerable URLs exceed: “30 per minute” then “block it“
How long is an IP address blocked when it breaks a rule: 5 minute

Limiting Rates

Step 5 : Setelah itu klik save changes

Crawler mengkonsumsi sumber daya pada sistem mengunjungi dan sering mengunjungi situs tanpa persetujuan. Masalah jadwal, memuat, dan “kesopanan” ikut bermain ketika koleksi besar halaman diakses. Makanya Crawlers harus benar-benar dibatasi pergerakannya.

Nah, tu dia, Sob hanya dengan melakukan beberapa setting dan block, masalah kamu sudah dapat teratasi. Simak terus Tips Hosting di halaman tutorial Jagoan Hosting Indonesia ya, jika ada bagian dari tutorial yang tidak ditemukan, kamu bisa menghubungi teman-teman di Jagoan Hosting supaya bisa dibantu lebih lanjut melalui Live Chat atau fitur Open Tiket ya!