Nginx是一个高性能的HTTP和反向代理服务器,如果我们用于反向代理某个网站,但是不希望反向代理的网站被搜索引擎蜘蛛抓取,可以尝试屏蔽蜘蛛的User Agent,将下面的规则添加到Nginx的站点配置中。

- 阅读全文 -