Cari tutorial

Tutorial Melakukan Limit pada Crawlers, Scrapper, Bot

Halo, Sob! Kamu para blogger pasti kenal istilah crawler, bot atau scrapper ya. Nah, perlu diketahui, Sob kalau crawler, bot atau scrapper ini tidak berbahaya, Tapi kita perlu melakukan mekanisme limit, agar informasi pribadi kamu tidak tersebar.

Umm, Terus kenapa banget kita harus melakukan limit? Simak informasinya berikut ini:

Kamu bisa setting limitasi untuk crawler, bot dan scapper dengan panduan berikut:


Step 1 : Masuk ke wp admin

Limit pada Crawlers, Scrapper, Bot

Opsi Wordfence


 Step 2 : Masuk ke menu Wordfence - Option

Limit pada Crawlers, Scrapper, Bot

Opsi Wordfence


Step 3 : Cari bagian “Rate Limiting Rule”

Limit pada Crawlers, Scrapper, Bot

Limiting Rate


Step 4 : Kamu bisa setting sesuai kebutuhan kamu, namun yang paling penting adalah block fake google crawlers harus diaktifkan berikut setting rekomendasi kami

  • Immediately block fake Google crawlers: YES
  • How should we treat Google's crawlers: Verified Google crawlers have unlimited access to this site
  • If anyone's requests exceed: "30 per minute" then "block it"
  • If a crawler's page views exceed: "30 per minute" then "block it"
  • If a crawler's pages not found (404s) exceed: "30 per minute" then "block it"
  • If a human's page views exceed: "30 per minute" then "block it"
  • If a human's pages not found (404s) exceed: "30 per minute" then "block it"
  • If 404s for known vulnerable URLs exceed: "30 per minute" then "block it"
  • How long is an IP address blocked when it breaks a rule: 5 minute

Limit pada Crawlers, Scrapper, Bot

Limiting Rates


 Step 5 : Setelah itu klik save changes


Crawler mengkonsumsi sumber daya pada sistem mengunjungi dan sering mengunjungi situs tanpa persetujuan. Masalah jadwal, memuat, dan "kesopanan" ikut bermain ketika koleksi besar halaman diakses. Makanya Crawlers harus benar-benar dibatasi pergerakannya.


Nah, tu dia, Sob hanya dengan melakukan beberapa setting dan block, masalah kamu sudah dapat teratasi. Simak terus Tips Hosting di halaman tutorial Jagoan Hosting Indonesia ya, jika ada bagian dari tutorial yang tidak ditemukan, kamu bisa menghubungi teman-teman di Jagoan Hosting supaya bisa dibantu lebih lanjut melalui Live Chat atau fitur Open Tiket ya!

Leave a Comment





Cloud Hosting HITS 1GB Gratis Domain .COM! TERMURAH SE INDONESIA CUMA 199 Ribuan!

Ambil Sekarang!