sobota, 28 września 2013

zablokować bingbota

Jak zablokować bingbota
Blokowanie msnbot lub jak kto woli bingbota to nie zawsze prosta sprawa.Postanowiłem napisać kilka słów na ten temat gdyz ostanio miałem poważne starcie  z tym wyjatkowo agresywnym botem.Jego działanie doprowadziło do zablokowania pokaznego serwisu .Najlepiej zaczać od pliku robots.txt i tam zablokować dostęp dla tego bota wpisem
User-agent: bingbot
Disallow: /
Jeżeli to nie pomaga poprawić w pliku .htaccess
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]
w .htaccess mozna również blokować po konkretnych adresach ip botów np.
deny from 177.40.29.234
W tym samym pliku mozna zastosować jeszcze inna kombinację
SetEnvIf User-Agent "msnbot" BlockUA
SetEnvIf User-Agent "bingbot" BlockUA
Order allow,deny
Allow from all
Deny from env=BlockUA
Ostatecznym sposobem jest zablokowanie bota bespośrednio na stronie index. Takim oto wpisem php
<?
if (eregi("bingbot",$_SERVER["HTTP_USER_AGENT"])) {  exit; }
?>

Brak komentarzy:

Prześlij komentarz

lubię to

Popularne posty