Bagaimana Cara Efektif Mencegah Laba-Laba Sogou Mengambil Konten Situs Anda?
Metode 1: Menggunakan file robots.txt
Untuk melarang spider Sogou merayapi konten situs web Anda, bisa dilakukan dengan membuat file robots.txt. Tambahkan konten berikut dalam file itu:
User-agent: Sogou web spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: *
Disallow:
Karena tidak pasti apakah itu sogou spider atau Sogou web spider, maka ditulis dua. Mesin pencari lain dalam artikel terkait biasanya akan menjelaskan nama spider mereka, tetapi Sogou tidak, ini juga menunjukkan salah satu sisi mereka. File akan berlaku setelah diunggah ke direktori root situs web. Namun, perlu diperhatikan bahwa spider Sogou terkadang tidak mematuhi protokol file robots.txt, sehingga melarangnya tetap mungkin merayapi.
Metode 2: Menggunakan file .htaccess
Dengan menggunakan file robots.txt, Anda dapat membuat file .htaccess baru. Nama file adalah .htaccess, dengan menambahkan konten berikut dalam file itu:
#block spider
order allow,deny
#Blokir Sogou
deny from 220.181.125.71
deny from 220.181.125.68
deny from 220.181.125.69
deny from 220.181.94.235
deny from 220.181.94.233
deny from 220.181.94.236
menolak dari 220.181.19.84
izinkan dari semua
& lt;/ LIMIT & gt;
Upload file ini ke direktori root situs web. Daftar alamat IP yang tercantum adalah laba-laba Sogou, yang sering berubah. Jika ada alamat IP baru, Anda dapat menambahkannya kapan saja.