Tutorial Melakukan Limit pada Crawlers, Scrapper, Bot

Cloud VPS
Admin Tutorial
Latest posts by Admin Tutorial (see all)

Halo, Sob! Kamu para blogger pasti kenal istilah crawler, bot atau scrapper ya. Nah, perlu diketahui, Sob kalau crawler, bot atau scrapper ini tidak berbahaya, Tapi kita perlu melakukan mekanisme limit, agar informasi pribadi kamu tidak tersebar.

Umm, Terus kenapa banget kita harus melakukan limit? Simak informasinya berikut ini:

Kamu bisa setting limitasi untuk crawler, bot dan scapper dengan panduan berikut:


Step 1 : Masuk ke wp admin

                                                                      Opsi Wordfence


 Step 2 : Masuk ke menu Wordfence - Option

        Opsi Wordfence


Step 3 : Cari bagian “Rate Limiting Rule”

                                                                    Limiting Rate


Step 4 : Kamu bisa setting sesuai kebutuhan kamu, namun yang paling penting adalah block fake google crawlers harus diaktifkan berikut setting rekomendasi kami

  • Immediately block fake Google crawlers: YES
  • How should we treat Google's crawlers: Verified Google crawlers have unlimited access to this site
  • If anyone's requests exceed: "30 per minute" then "block it"
  • If a crawler's page views exceed: "30 per minute" then "block it"
  • If a crawler's pages not found (404s) exceed: "30 per minute" then "block it"
  • If a human's page views exceed: "30 per minute" then "block it"
  • If a human's pages not found (404s) exceed: "30 per minute" then "block it"
  • If 404s for known vulnerable URLs exceed: "30 per minute" then "block it"
  • How long is an IP address blocked when it breaks a rule: 5 minute

Limiting Rates


 Step 5 : Setelah itu klik save changes


Crawler mengkonsumsi sumber daya pada sistem mengunjungi dan sering mengunjungi situs tanpa persetujuan. Masalah jadwal, memuat, dan "kesopanan" ikut bermain ketika koleksi besar halaman diakses. Makanya Crawlers harus benar-benar dibatasi pergerakannya.


Nah, tu dia, Sob hanya dengan melakukan beberapa setting dan block, masalah kamu sudah dapat teratasi. Simak terus Tips Hosting di halaman tutorial Jagoan Hosting Indonesia ya, jika ada bagian dari tutorial yang tidak ditemukan, kamu bisa menghubungi teman-teman di Jagoan Hosting supaya bisa dibantu lebih lanjut melalui Live Chat atau fitur Open Tiket ya!

Apakah artikel ini membantu, Sob?

Berikan rating buat artikel ini!

Rata-rata rating 0 / 5. Dari total vote 0

Pertamax, Sob! Jadilah pertama yang memberi vote artikel ini!

We are sorry that this post was not useful for you!

Let us improve this post!

Tell us how we can improve this post?

Related Posts
Tutorial WordPress – Mengatasi Warning: Cannot modify header information

Halo, Sob! Pernahkah kamu mengalami pesan peringatan seperti ini saat instalasi pertama WordPress maupun upgrade WordPress kamu? Warning: Cannot modify Read more

Cara Atasi Fatal Error Allowed Memory Size of Bytes Exhausted

Pengantar Pernahkah kamu mengalami pesan "Fatal error: Allowed memory size of 33554432 bytes exhausted" saat kamu mencoba upload sebuah gambar Read more

Tutorial Mengatasi Fatal Error Undefined Function Is_network_admin()

Pernahkah kamu mengalami error seperti di bawah ini? "Fatal error undefined function is_network_admin()" Biasanya error ini muncul saat kamu melakukan Read more

Tutorial WordPress – Memastikan Keamanan WordPress Anda

WordPress Logo Hai, Sob! kamu pasti gak asing dengan penggunaan WordPress. Tapi, tahukah kamu, jika WordPress Read more

Leave a Comment