Pokazywanie postów oznaczonych etykietą zablokować bingbota. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą zablokować bingbota. Pokaż wszystkie posty

sobota, 28 września 2013

zablokować bingbota

Jak zablokować bingbota
Blokowanie msnbot lub jak kto woli bingbota to nie zawsze prosta sprawa.Postanowiłem napisać kilka słów na ten temat gdyz ostanio miałem poważne starcie  z tym wyjatkowo agresywnym botem.Jego działanie doprowadziło do zablokowania pokaznego serwisu .Najlepiej zaczać od pliku robots.txt i tam zablokować dostęp dla tego bota wpisem
User-agent: bingbot
Disallow: /
Jeżeli to nie pomaga poprawić w pliku .htaccess
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]
w .htaccess mozna również blokować po konkretnych adresach ip botów np.
deny from 177.40.29.234
W tym samym pliku mozna zastosować jeszcze inna kombinację
SetEnvIf User-Agent "msnbot" BlockUA
SetEnvIf User-Agent "bingbot" BlockUA
Order allow,deny
Allow from all
Deny from env=BlockUA
Ostatecznym sposobem jest zablokowanie bota bespośrednio na stronie index. Takim oto wpisem php
<?
if (eregi("bingbot",$_SERVER["HTTP_USER_AGENT"])) {  exit; }
?>

lubię to

Popularne posty