之前我分享过一段 php 代码，可以将蜘蛛的统计结果以 txt 文件的形式展示出来，方便用户查看搜索引擎蜘蛛爬取的 url 链接，并且可以查询快照是否被收录。今年，很多人都在使用 360 快照秒收功能，因此将 360 蜘蛛抓取的 url 链接保存为 txt 文件变得尤为重要。我们可以将这些链接导入到 IIS7 中，通过一键查询来判断是否被收录以及收录的数量。
在服务器根目录新建：spider.php ，代码如下：
spider.php
<?phpfunction get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);if (strpos($useragent, '360spider') !== false){return '360Spider';}return false;}function nowtime(){ $date=gmdate("Y-n-j H:i:s",time()+8*3600); return $date;}$searchbot = get_naps_bot();if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI']; $file="spiderlogs.txt"; $time=nowtime(); $data=fopen($file,"a"); fwrite($data,"Time:$time robot:$searchbot URL:$url\n"); fclose($data);}?>
在泛目录的 index.php/404.php/sitemapphp 的等相关蜘蛛会访问到的文件中插入：
index.php/404.php/sitemapphp
include'spider.php';
查看蜘蛛统计的话，访问： 您的域名/spiderlogs.txt
上一篇： 统计百度蜘蛛的PHP代码，适用于个人使用
下一篇： 统计搜狗蜘蛛的PHP代码，方便自己使用
本文暂无评论 - 欢迎您 取消回复
