Tutorial Melakukan Limit pada Crawlers, Scrapper, Bot
- PHP X-Ray di cPanel untuk Optimasi Kecepatan Web - April 18, 2023
- Cara Membeli Insta Web Platform - Maret 1, 2023
- Cara Membuat Backup di Insta Web Platform - Februari 7, 2023
Halo, Sob! Kamu para blogger pasti kenal istilah crawler, bot atau scrapper ya. Nah, perlu diketahui, Sob kalau crawler, bot atau scrapper ini tidak berbahaya, Tapi kita perlu melakukan mekanisme limit, agar informasi pribadi kamu tidak tersebar.
Umm, Terus kenapa banget kita harus melakukan limit? Simak informasinya berikut ini:
Kamu bisa setting limitasi untuk crawler, bot dan scapper dengan panduan berikut:
Step 1 : Masuk ke wp admin
-
Opsi Wordfence
Step 2 : Masuk ke menu Wordfence - Option
-
Opsi Wordfence
Step 3 : Cari bagian “Rate Limiting Rule”
-
Limiting Rate
Step 4 : Kamu bisa setting sesuai kebutuhan kamu, namun yang paling penting adalah block fake google crawlers harus diaktifkan berikut setting rekomendasi kami
- Immediately block fake Google crawlers: YES
- How should we treat Google's crawlers: Verified Google crawlers have unlimited access to this site
- If anyone's requests exceed: "30 per minute" then "block it"
- If a crawler's page views exceed: "30 per minute" then "block it"
- If a crawler's pages not found (404s) exceed: "30 per minute" then "block it"
- If a human's page views exceed: "30 per minute" then "block it"
- If a human's pages not found (404s) exceed: "30 per minute" then "block it"
- If 404s for known vulnerable URLs exceed: "30 per minute" then "block it"
- How long is an IP address blocked when it breaks a rule: 5 minute
-
Limiting Rates
Step 5 : Setelah itu klik save changes
Crawler mengkonsumsi sumber daya pada sistem mengunjungi dan sering mengunjungi situs tanpa persetujuan. Masalah jadwal, memuat, dan "kesopanan" ikut bermain ketika koleksi besar halaman diakses. Makanya Crawlers harus benar-benar dibatasi pergerakannya.
Nah, tu dia, Sob hanya dengan melakukan beberapa setting dan block, masalah kamu sudah dapat teratasi. Simak terus Tips Hosting di halaman tutorial Jagoan Hosting Indonesia ya, jika ada bagian dari tutorial yang tidak ditemukan, kamu bisa menghubungi teman-teman di Jagoan Hosting supaya bisa dibantu lebih lanjut melalui Live Chat atau fitur Open Tiket ya!