浏览器之家


网络矿工数据采集软件 1.8

网络矿工数据采集软件【Sominer】是一套面向专业采集用户的采集软件,其基于Soukey采摘数据采集软件 研发,在其基础上扩大了更加丰富的专业功效,不仅可以进一步满足采集用户的需求,同时也扩大了采集利用范畴。同时【一孑工作室】也为网络矿工 数据采集软件供给了专业的技巧支撑及售后服务。【一孑工作室】将最大化的保障您的软件应用利益。需Microsoft .NetFramework2.0环境。
网络矿工数据采集软件按照用户数允许授权。重要功效如下:
1、多任务、多线程,支撑一个任务运行多个实例;
2、支撑图片、Flash及文件下载;下载并不支撑多线程处理,所以,也不建议采用此软件建立专业的下载任务;
3、网址配置支撑参数定制,及外部字典参数;通过字典方法可扩大自定义的参数值;
4、支撑Cookie、POST采集;可记录Cookie,采集需要登录的网站数据,也可通过手工登录进行采集;
5、支撑导航、主动翻页;可进行网址导航,譬如:通过消息列表采集消息内容;支撑多层导航;
6、可采集Ajax数据;
7、采集数据临时存储、断点续采;临时存储数据格式为XML;
8、支撑数据导出,文件、数据库;数据库支撑Access、MS Sql Server、MySql,文件支撑文本文件和Excel;数据导出支撑手工和主动,手工导出仅支撑文件情势


9 、在线数据发布;支撑在线数据发布,数据发布支撑Cookie;
10、数据采集支撑采集数据加工;可对采集数据进行字符串调换、截取、附加等操作,可主动去除网页符号,支撑正则;
11、支撑任务打算;可定时履行任务,最小间隔为:0.5小时;
12、支撑任务触发器;可触发Soukey采摘任务、数据库存储过程及可履行文件,支撑采集完成及发布完成触发;
13、供给网址编/解码工具;支撑UTF-8、GB2312、GBK、Big5;
14、供给Mini浏览器;可用于Cookie及POST数据的捕获;
15、支撑中文简体;
16、直接入库;可将采集的数据直接存入数据库,利用此种方法,系统可采集成百上千万条数据,而不影响系统性能。数据库支撑Access、MS Sqlserver及MySql。
17、采集数据输出数据多种规矩加工;对采集数据可实现多种数据加工规矩的利用,通过此方法,可以更加机动的采集到需要的数据内容。譬如:采集到文章之后

,可以通过去除网页标识,去除原有文章格式,再通过字符串调换,可以重点显示您需要显示的要害字或文章段落。此过程一次性完成,无需再进行后期数据加工


18、供给数据加工模块;可对采集数据机动的进行数据修正,调剂表结构,然后再进行数据发布操作。同时还可利用此功效实现外部数据的加工及发布操作。
19、支撑导航层分页;利用此功效可以按照简化采集任务的配置,甚至可以通过一个入口地址采集所有的信息内容。
20、支撑采集数据网址的主动输出;可作为内容引用、错误查找应用;
21、支撑任务打算输出到同一个采集文件;可利用为数据递增采集;
22、支撑数据合并;可利用于分页文章采集,并主动合并成一篇文章的采集情势;
23、供给采集规矩分析器;;通过采集规矩分析器,可方便的查看采集规矩配置的正确性;
24、支撑代理服务器;当前仅支撑HTTP代理;
25、增加导航提取范畴;
26、增加自定义导航规矩处理;大部分导航都是由可辨认的Url进行的,但也存在特别情况,譬如:是由提交表单来完成,针对此种情况采用此功效可实现对导航规
则的处理;

下载地址:

评论

没安装畅言模块