YAAS:YY的网页爬虫工具箱

By Dexter.Yy Last update Sep 26, 2009 — Installed 40 times. Daily Installs: 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0
Script Summary:
Yet Another All-in-one Spider

This script has no discussions.

start the discussion

This script has no reviews.

添加功能ing...现在的版本是beta v0.1...

当前版本功能:

#1, 在你访问的网站中提供一段链接地址的范例,脚本会抓取所有相似的链接地址,并且在对应的页面继续寻找相似链接,直到抓取不到新链接,最后输出包含所有url的文本,你也可以随时暂停抓取显示当前的结果
链接范例的格式尽可能跟页面html当中的保持一致,其中可变部分用"*"代替,如:
news-integrate.html?classid=*&page=*&paget=*
/scripts/show/*

更新:

2009.5.4
#1增加暂停功能和继续抓取