各大搜索引擎robots.txt的写法

http://www.xovibot.net/,德国一个搜集网站seo相关信息,比如外链,锚文本的搜索引擎,中国站当然可禁了。
来访日志如下:
/bbin965iy3e4/bbinssmys/070820141.html Mozilla/5.0+(compatible;+XoviBot/2.0;++http://www.xovibot.net/) www.??.com 404
禁止爬行方法如下:

User-agent: XoviBot
Disallow: /

Leave a Reply