MegaIndex.ru蜘蛛是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，官网：http://MegaIndex.ru，并没有什么作用。遵循robots协议。
可以通过robots.txt协议选择禁止。
User-agent: MegaIndex.ru
Disallow: /
MegaIndex.ru
大家都在看
-
Baiduspider
百度蜘蛛
-
bingbot
必应蜘蛛
-
MJ12bot
英国MJ12蜘蛛
-
sogou spider
搜狗蜘蛛
-
EtaoSpider
一淘蜘蛛
-
Mail.RU_Bot
Mail.RU蜘蛛
-
AraybOt
Aray蜘蛛
-
Yisouspider
神马蜘蛛
-
YandexBot
俄罗斯蜘蛛
-
exabot
exa蜘蛛
-
MegaIndex.ru
MegaIndex蜘蛛
-
spbot
sp蜘蛛
分享链接
热门工具排行榜