了解搜索蜘蛛的爬行动向，实时要查看iis访问记录，这也是一个优化师所必须了解的知识！
　　很多网站目前使用的都是虚拟空间，都能够提供日志。从虚拟主机后台登录，点击下载访问日志。

　　日志是指在网站根目录下的logfiles或W3SVC文件夹里面日期.txt文本文件

　

　　开始几行:

　　#Software: Microsoft Log Parser

　　#Version: 1.0

　　#Date: 2008-09-30 23:57:04

　　#Fields: LogFilename RecordNumber ComputerName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName

　　说明用的软件,版本,创建日期,字段说明

　　举例说明：

2010-10-28 15:55:29 W3SVC183 180.86.38.51 GET /shownew.asp newid=861 80 - 220.181.108.173 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64 7620　　分别表示：
　　访问日期：2010-10-28 15:55:29

　　客户端IP：220.181.108.173 (客户端IP很重要，有的IP是搜索引擎爬虫的IP)

　　服务器IP：180.86.54.92　　服务端口：80

　　模式：GET

       协议返回状态：200 (这个很重要，200是成功的应答码)

　　记录的内容大小：7620

　　访问页面： /shownew.asp newid=861 (这点是站长分析和以后努力的方向)

　　都是这种格式的日志如何去分析了，一个一个看的头都大了。

　　现在网上很多网站日志分析工具，其实你只要打开日志“CRTL+F”查找几个你关心的IP就OK了。

　　各类蜘蛛IP收集，不一定完全准确。

　　序号 IP 注释

　　1 202.106.186.* 163蜘蛛

　　2 202.108.36.* 163蜘蛛

　　3 202.108.44.* 163蜘蛛

　　4 202.108.45.* 163蜘蛛

　　5 202.108.5.* 163蜘蛛

　　6 202.108.9.* 163蜘蛛

　　7 220.181.12.* 163蜘蛛

　　8 220.181.13.* 163蜘蛛

　　9 220.181.14.* 163蜘蛛

　　10 220.181.15.* 163蜘蛛

　　11 220.181.28.* 163蜘蛛

　　12 220.181.31.* 163蜘蛛

　　13 222.185.245.* 163蜘蛛

　　14 202.165.100.* 3721蜘蛛

　　15 220.181.19.* 百度蜘蛛

　　16 159.226.50.* 百度蜘蛛

　　17 202.108.11.* 百度蜘蛛

　　18 202.108.22.* 百度蜘蛛

　　19 202.108.23.* 百度蜘蛛

　　20 202.108.249.* 百度蜘蛛

　　21 202.108.250.* 百度蜘蛛

　　22 61.135.145.* 百度蜘蛛

　　23 61.135.146.* 百度蜘蛛

　　24 64.124.85.* become.com

　　25 61.151.243.* china蜘蛛

　　26 202.165.96.* gais.cs.ccu.edu.tw

　　27 216.239.33.* google蜘蛛

　　28 216.239.35.* google蜘蛛

　　29 216.239.37.* google蜘蛛

　　30 216.239.39.* google蜘蛛

　　31 216.239.51.* google蜘蛛

　　32 216.239.53.* google蜘蛛

　　33 216.239.55.* google蜘蛛

　　34 216.239.57.* google蜘蛛

　　35 216.239.59.* google蜘蛛

　　36 64.233.161.* google蜘蛛

　　37 64.233.189.* google蜘蛛

　　38 66.102.11.* google蜘蛛

　　39 66.102.7.* google蜘蛛

　　40 66.102.9.* google蜘蛛

　　41 66.249.64.* google蜘蛛

　　42 66.249.65.* google蜘蛛

　　43 66.249.66.* google蜘蛛

　　44 66.249.71.* google蜘蛛

　　45 66.249.72.* google蜘蛛

　　46 72.14.207.* google蜘蛛

　　47 61.135.152.* iask蜘蛛

　　48 65.54.188.* msn蜘蛛

　　49 65.54.225.* msn蜘蛛

　　50 65.54.226.* msn蜘蛛

　　51 65.54.228.* msn蜘蛛

　　52 65.54.229.* msn蜘蛛

　　53 207.46.98.* msn蜘蛛

　　54 207.68.157.* msn蜘蛛

　　55 194.224.199.* noxtrumbot

　　56 220.181.8.* Outfox

　　57 221.239.209.* Outfox

　　58 217.212.224.* psbot

　　59 219.133.40.* QQ蜘蛛

　　60 202.96.170.* QQ蜘蛛

　　61 202.104.129.* QQ蜘蛛

　　62 61.135.157.* QQ蜘蛛

　　63 219.142.118.* sina蜘蛛

　　64 219.142.78.* sina蜘蛛

　　65 61.135.132.* sohu蜘蛛

　　66 220.181.26.* sohu蜘蛛

　　220.181.19.*

　　67 61.135.158.* tom蜘蛛

　　68 66.196.90.* yahoo蜘蛛

　　69 66.196.91.* yahoo蜘蛛

　　70 68.142.249.* yahoo蜘蛛

　　71 68.142.250.* yahoo蜘蛛

　　72 68.142.251.* yahoo蜘蛛

　　73 202.165.102.* yahoo中国蜘蛛

　　74 202.160.178.* yahoo中国蜘蛛

　　75 202.160.179.* yahoo中国蜘蛛

　　76 202.160.180.* yahoo中国蜘蛛

　　77 202.160.181.* yahoo中国蜘蛛

　　78 202.160.183.* yahoo中国蜘蛛

　　79 72.30.101.* yahoo蜘蛛

　　80 72.30.102.* yahoo蜘蛛

　　81 72.30.103.* yahoo蜘蛛

　　82 72.30.104.* yahoo蜘蛛

　　83 72.30.107.* yahoo蜘蛛

　　84 72.30.110.* yahoo蜘蛛

　　85 72.30.111.* yahoo蜘蛛

　　86 72.30.128.* yahoo蜘蛛

　　87 72.30.129.* yahoo蜘蛛

　　88 72.30.131.* yahoo蜘蛛

　　89 72.30.133.* yahoo蜘蛛

　　90 72.30.134.* yahoo蜘蛛

　　91 72.30.135.* yahoo蜘蛛

　　92 72.30.216.* yahoo蜘蛛

　　93 72.30.226.* yahoo蜘蛛

　　94 72.30.252.* yahoo蜘蛛

　　95 72.30.97.* yahoo蜘蛛

　　96 72.30.98.* yahoo蜘蛛

　　97 72.30.99.* yahoo蜘蛛

　　98 74.6.74.* yahoo蜘蛛

　　99 202.108.4.* 中搜蜘蛛

　　100 202.108.4.* 中搜蜘蛛

　　101 202.108.33.* 中搜蜘蛛

　　102 202.96.51.* 中搜蜘蛛

　　103 219.142.53.* 中搜蜘蛛