浏览器之家


风车通用Web采集程序在线版 V1.5.4

感谢您选用风车通用WEB采集系统!
功效特点:
******************************************
1、采用asp.net开发,运行于IIS下。
2、可根据入库设置,主动挂接到现有的网站系统,与现有系统实现无缝集成,补充或调换现有系统的采集程序。
3、采集调度,即打算任务,可为每个采集规矩设定时间定时重复采集,多个采集任务可同时运行,到了设定时间采集程序在Web服务器后台主动履行,真正实现了无须人工干涉的主动更新。
4、可主动归类,对采集的信息实现主动分类,当目标分类不存在时可主动创立该分类,也可通过火类映射将目标分类与当前网站内容分类进行合并。无需为每个类别建立一个采集任务。
5、采集规矩设定简略易懂,程序具有2种运行方法,前台运行或后台定时运行。
6、可实现多级网页深度的采集,比如内容分页、部分信息在另外的页面、小说连载等类型的有主从表关联的信息采集。
7、独创的断点续采,目标网站有更新,采集程序才进行采集,仅采集更新的部分,效率高。 此功效对采集连载性质的网站特别有用,比如连载小说、持续剧等。
8、主动下载相干的外部文件到本地服务器或调换为远程路径,比如图片、FLASH、下载文件等,无需再手工上传到服务器。
9、支撑采集模型的定义,可根据需要定义任意要采集的数据项,每个模型还可包含子模型。
10、主动辨认绝大多数采集站的网页编码。比如常见的:GB2312,GBK,UTF-8,windows-1252,iso646-us等。
11、支撑从列表页采集缩略图及其他附加信息。
12、多线程异步采集,采集效率高,占用服务器资源较低。


安装及应用阐明请参见”应用阐明“文件。


版本修正历史:

******************************************

v1.5.4
改良:修正了采集网址队列数超过5000,主动重启时无法结束的问题 2008-2-29
改良:采集项高级过滤设置中,可进行调换。格式为在原过滤规矩后参加\"[to]\" 2008-2-29
增加:增加了采集时间间隔的设置,避免给采集站服务器带来较大压力
增加:增加了采集网址需要登陆验证的情况,需设置登陆及验证地址 2008-3-1
增加:列表JS提交方法(Post)分页。应用方法:在提交地址上追加参数\"?fc_action=post&参数1={$pageid}\",如果提交页已包含\"?\",则为:\"&fc_action=post&参数1={$pageid}\" 2008-3-1

v1.5.3.41751
增加:对动态网页地址包含中文参数的编码处理
改良:修正了.net2.0环境下的安装运行问题
增加:增加了图片文字水印功效
增加:在线主动升级更新功效
改良:修正文件已存在,但大小为0时不重新下载的问题
增加:运行状态中删除采集历史成功的提示
改良:当入库接口配置不正确时查看采集成果报错的问题
改良:修正了内容分页时数据不能入库的问题 2008-2-19
改良:修正页面中包含重复雷同图片的下载问题 2008-2-19
增加:增加了每个内容项规矩的高级过滤设置 2008-2-20

v1.5.2
修正调换的BUG,增加可选一般调换和正则调换,正则调换时以\\\\\\\\\\\\\\\"r:\\\\\\\\\\\\\\\"开端
增加每次采集前主动清空采集历史
增加选项主动入库/手工入库,采集数据先保存到临时库,手工入库可以批量选择要入库的数据。
增加系统设置、用户登陆功效
增加采集任务的导入导出

v1.2更新记录
增参加库规矩中创立分类的自定义SQL语句模板,支撑多条SQL同时履行后返回成果
增加了MySql类型数据库的入库
修正了Sql Server类型数据库的入库BUG
增加了对采集数据成果进行处理的插件功效(可以自定义C#代码),内置maxz电影程序FLV采集处理插件
增加了字段链接规矩中链接的手工指定,与自定义采集字段组合
增加了字段链接规矩中指定下级页面规矩,用“|||”分隔
修正了下载文件时,文件已存在时的路径处理问题
增加了主动保存采集历史功效,解决采集异常中断后采集历史丧失的问题
修正了下载文件时引用页的问题
增加了对不同页面的字段多个采集匹配规矩,以\\\\\\\\\\\\\\\"||\\\\\\\\\\\\\\\"离开,如果第一个条件没匹配到,就根据第二个条件...实用于目标站多个分类应用不同模版的情况
增加了采集分页或跨页列表时,获取链接的同时,可以获取每个链接的附加数据,以\\\\\\\\\\\\\\\"&&\\\\\\\\\\\\\\\"离开,以便于在自定义代码中进行特别处理。
增加自定义采集模型功效,采集的时候先保存到临时数据库
修正数据访问层连接池的一个BUG


*****************************************
有这方面需要的朋友,或者你对本程序有什么疑问,可以与我接洽。QQ:6326378(验证时请注明“采集”)e-mail:achely at gmail.com
或到:http://www.fengchesoft.cn/bbs/index.asp?boardid=1讨论。

下载地址:

评论

没安装畅言模块