English | 简体中文 | 繁體中文

Swiftbot

Swiftype是一个为你的网站定制的搜索引擎。它结合了 “最好的搜索技术、算法、内容摄取框架、客户端和分析工具”。

Swiftype是一个可以为你的网站搜索提供动力的软件

如果你有一个有许多页面的复杂网站,Swiftype提供了一个有用的界面,为你的所有页面编目和索引。

Swiftbot是Swiftype的网络爬行器。然而,与其他机器人不同,Swiftbot只抓取他们的客户要求的网站。

不过对于国内网站来说不会带来什么流量,可以选择robots.txt协议禁止。

User-agent: Swiftbot

Disallow: /

如果还是禁止不了,可以选择nginx规则禁止访问,如下:

if ($http_user_agent ~* "Swiftbot") {

 return 403;

}

补充纠错
上一蜘蛛: ZmEu
下一蜘蛛: CCBot