SEMrushBot蜘蛛是一个在线SEO分析平台的蜘蛛,他们的官网是www.semrushchina.cn,对国内网站用户来说,大家可能对它有些陌生,但是有很多做外贸的朋友应该都知道或使用过它,它在行业内还是比较知名的。 它对网站有害吗?
多个 SEMrushBot相关的蜘蛛,如下:
SemrushBot-SA
SemrushBot-BA
SemrushBot-SI
SemrushBot-SWA
SemrushBot-CT
SemrushBot-BM
SemrushBot-SEOAB
通过以上了解,相信大家已经大概明白,SemrushBot蜘蛛是一个正规的蜘蛛,至少它对你的网站是没有害处的。
但是不会为网站带来流量,可以选择robots.txt协议的方式来禁止。
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB