Coccocbot-web是一种网络爬虫,由越南的Cốc Cốc搜索引擎(Cốc Cốc)开发和维护。这个网络爬虫主要用于抓取网页内容,索引信息,并为Cốc Cốc搜索引擎提供相关数据,以帮助用户在Cốc Cốc搜索引擎上获取准确和全面的搜索结果。
Cốc Cốc是越南本土的一家搜索引擎公司,类似于谷歌等全球知名搜索引擎。Coccocbot-web网络爬虫的主要任务是帮助Cốc Cốc搜索引擎建立和更新其搜索索引,确保用户可以在搜索时找到他们需要的信息。
不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。
User-agent: Coccocbot-web
Disallow: /
如果还是禁止不了,可以选择nginx规则禁止访问,如下:
if ($http_user_agent ~* "Coccocbot-web") {
return 403;
}