某些时候网站被挂马,但不易察觉,直接访问页面没有任何问题。通过模拟蜘蛛访问的时候发现确实被挂马了,分享下Chrome浏览器模拟百度蜘蛛访问的方法。

准备工作

  • 已经安装Google Chrome浏览器

安装 User-AgentSwitcher扩展

有条件的直接访问User-Agent Switcher for Chrome进行安装,如果这个链接你无法打开,请继续往下看。

在Chrome浏览器中输入chrome://extensions/打开后会看到扩展程序界面。

snipaste_20180201_143247.png

访问User-AgentSwitcher_1_0_43.crx下载扩展,并将扩展拖放到上面的窗口进行安装。

15160060157634062.png

15160060833089017.png

设置User-AgentSwitcher

User-AgentSwitcher安装成功后点击选项进行设置,按照下面的要求填写,添加百度蜘蛛的UserAgent

15160062206289884.png

  • New User-agent name:Baidu
  • New User-Agent String:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
  • Group:Spider
  • Append?:Repalce
  • Indicator Flag:1

15160063806146375.png

访问测试

点击浏览器右上角(小眼睛的按钮) - Spider - Baidu切换成百度蜘蛛UA,然后访问对应的页面地址测试。

snipaste_20180201_145918.png

其它说明

  • 一定要先切换UA,再进行访问,不然可能存在缓存无法达到实际效果。
  • 测试完毕后,建议更换为正常的UA(Chrome - Default),以免某些网站访问异常。

使用工具模拟蜘蛛访问

如果感觉上面的方法过于复杂,那我们来点简单的,为了提高效率同事写了一个模拟搜索引擎蜘蛛访问的小工具,直接下载即可使用。

snipaste_20180524_141648.png