软件学堂

网游分类软件分类

  • 火车采集器免费版 V9.10

     
  • 大小:23.4MB 更新:19-10-23
  • 类别:网站优化 系统:PC
立即下载 没有对应的手机版,本软件为电脑版,电脑版软件不支持手机安装
火车采集器英文名LocoySpider,它是一款专业的互联网数据抓取、处理、分析、挖掘软件,它拥有网址采集、内容采集、数据处理、数据发布、日志管理等等功能,且支持多数据库,能够无限级多页采集、全自动运行、分布式高速采集、多识别系统、采集监控系统,可以非常好的帮助网站管理优化人员对网站进行分析优化。现在已经被电商运营人员、企业人员、 网站站长等各行业的人使用。有需要的用户快来下载火车采集器免费版吧,小编在下文还为大家附上了简单的使用教程!
火车采集器免费版

采集器教程

1、新建分组--新建任务

2、添加网址+ 编辑获取网址的规则

选择范围在 ul 里面的 li 里面的链接,注意排除重复地址,可以点击下面测试网址采集获取。

可以看到有采集到的文章链接了。

3、采集内容规则
我这边需要采集下面图上展示数据(catid是栏目id,可以将采集到的数据放入对应栏目,设置固定值就好)

着重说下内容和图片的采集,标题和描述同理内容采集

内容采集:
打开一个采集的文章页面,查看源代码(禁了右键的f11 或者在网址前面加上 view-source: 一样可以查看):选中文章开头一个位置,截取一段在ctrl+f 搜下是否唯一一段,若是就可以放在位置下图1处,结尾同开头一样。我截取内容不想里面还带有链接图片可以数据处理,添加--html标签排除--选好确定--确定

还有需要下载页面图片,勾选和填写下面选项

图片采集:
(1)选中范围和内容一样(文章内图片)
(2)数据处理选 提取第一张图片,内容是:http://www.xxx.com/2017/33/aa.jpg
(3)只要aa.jpg,正则过滤,获取内容:aa.jpg
(4)数据库存储有前缀,添加上, upload/xxxxx/

找一个页面测试一下,可以看到对应项目都获取到了。

4、发布内容设置,这里以方式三发布到数据库为例子,编辑后回到这边勾选刚定义的模块就好:


5、我需要保存图片到本地,要设置下保存文件的路径(ftp后续会试着使用)。

6、保存,查看刚新建的任务,右键 开始任务运行,这边就可以看到文字和图片都下载下来了,数据库里面也可以看到了。

功能介绍

一、网址采集
1、可以通过网址采集规则的设定,快速采集到所需的网址信息。可手动输入、批量添加或直接从文本导入网址,并能自动筛选去除重复的网址信息。
2、支持多级页面网址的采集,多级网址采集可以使用页面分析自动得到地址、手动填写规则两种方式。应对多级分页中内容不同,但地址相同的页面网址采集,软件设置了 GET,POST 和 ASPXPOST 三种 HTTP 请求方式。
3、支持网址采集测试,可以验证操作的正确性,避免操作有误导致采集结果不准确。
二、内容采集
1、可以通过分析网页源代码,设定内容采集规则,精准采集到网页中散乱分布的内容数据,并支持多级多页等复杂页面中的内容采集。
2、通过定义标签,能够将数据进行分类采集,比如将文章内容的标题与正文分开采集。软件配置了三种内容提取的方式:前后截取、正则提取、正文提取。可选性强,用户可以按照使用需求进行选择。
3、内容采集同样支持测试功能,可选用一个典型页面来测试内容采集的正确性,以便及时更正和进行下一步数据处理。
三、数据处理
对于采集到的信息数据,软件可以对其进行一系列的智能处理,使采集到的数据更加符合我们的使用标准。主要包括 1)标签过滤:过滤掉内容中不需要的空格,链接等标签;2)替换:支持近义、同义词替换;3)数据转换:支持汉译英、简转繁、转换为拼音等;4)自动摘要、自动分词:支持自动生成摘要和自动分词功能;5)下载选项:支持任意格式的文件探测下载,并能够将相对地址智能补全为绝对地址。
四、数据发布
1、将数据采集下来后默认将数据保存在本地数据库(sqlite 、MySQL、sqlserver),用户可以根据自己的需求选择对数据的后续操作以完成数据发布,支持直接查看数据、在线发布数据和入数据库,并支持用户进行发布接口的使用和开发。
2、根据数据库类型用相关软件打开可以直接查看数据,配置一个发布模块即可将数据在线发布到网站,可以设置自动登陆网站,获取栏目列表等;如果入到用户自己的数据库中,用户只需写几个 SQL 语句,程序就会按照用户的 SQL 语句导入数据;保存为本地文件时支持本地 SQL 或文本文件(word、excel、html,txt)格式。
五、多任务多线程运行
可以选择同时运行多个任务,支持不同网站或同一站点下不同栏目的内容同时采集,能够有计划的调度任务。单个任务在采集内容和发布内容时均可以使用多线程运行,提升运行效率。
六、HTTP 二级代理服务器
可以通过二级代理服务器的功能实现 IP 的更换,避免因 IP 被限制访问而导致的采集无法运行,用户需先获取一些代理 IP,然后将代理 IP 导入采集器中完成设置即可。
七、计划任务管理器
支持计划任务管理,能够定时自动地进行采集发布,实现自动更新的功能,可对加入计划任务内的任务设置其执行的频率和开始运行的时间,执行频率可以选择每周、每天、每间隔,或根据用户需求自定义 corn 表达式执行。
八、任务运行日志管理
配置了采集监控系统,任务运行管理器将采集监控模块生成的记录信息组装成日志条目,如果启用了自动运行功能或需要对程序运行状况进行监控,可以查看任务运行日志中某个日期时间段内的运行情况,来做具体的分析。可以具体了解到任务的成功数量、失败数量,重复数量和用时等数据。
九、插件扩展
1、支持 PHP 和 C#插件扩展,可以帮助用户对采集的数据进行修改处理,完成用户的更多需求,极大的扩展了采集器的功能。用户可以按照插件开发手册自行开发所需插件,也可以使用火车采集器官方开发的一些插件资源。
2、中配置了插件管理器,可对插件列表进行管理和选择插件方法,支持插件测试。

软件特色

一、全网通用
1、基于 web 结构的采集
火车采集器的采集原理是基于 web 结构的源代码提取,几乎适用于所有的网页,以及网页中能够看到的所有内容;
2、扩展性强
支持接口和插件多种扩展延伸,打破操作局限,满足更加多样化的使用需求,使这款软件真正做到全网通用。
二、功能全面
1、集采集发布于一体
在每个功能上都做了优化设置,除了最基础的数据采集,更是融入了强大的数据处理和数据发布功能,全面完善了对于数据利用的整个流程。
2、多元化的功能配置
在许多细节操作中配置多项可选方式。
1)多种提取方式:网址和内容的提取均设置了多种方式,网址采集包含手动填写采集规则、页面自动分析,内容提取包含前后截取、正则提取、正文提取,标签组合,用户可根据自己的需要选择不同方式;
2)多识别系统:正文识别、任意编码识别等多种智能识别系统;
3)图片、压缩文件、视频等任意格式的文件都能轻松下载;
4)支持Access/MySQL/MsSQL/Sqlite/Oracle 五种类型的数据库发布;5)可选择使用加密狗,随时移动更安全。
三、高效稳定
1、分布式高速采集系统
采用分布式高速采集系统,将任务分配至多个服务端同时运行采集,多任务多线程式的运行模式,能够最大化提升运行效率。
2、占用资源少
任务量得以分解,服务端所占用资源减少,使得这款软件的性能更加稳定。
四、数据精准
1、采集监控系统
实时地监控采集,任务运行日志报错统计,及时修复,确保数据不被遗漏。
2、数据处理准确
多种精细化的数据处理方式,结合测试功能让火车采集器做到数据采集无误,精准可用。

使用人群

1、企业人员
收集潜在的客户信息,快速挖掘新客户;通过分析客户行为开展业务,降低风险和预算,洞察竞争对手的业务数据,助力商业决策。
2、电商运营
按照用户需求定向采集商品信息、商家信息、产品评价,挖掘相关数据背后的潜在价值,进行精准的营销优化,提升运行效率。
3、政府机关
实时汇集国内外信息数据,掌握所关注的动态信息,进行舆情监控,及时对不利或危情信息进行预警,并通过分析数据指导社会与经济的发展。
4、网站站长
实现定时采集数据和自动发布数据,采集优质内容加工处理后填充发布到网站,让网站快速拥有强大的内容支撑,轻松提升流量与人气。
5、个人需求者
批量下载大量的文件,图片等内容,解决个人在学术研究或生活,工作等方面的数据需求,取代手动复制粘贴,提高效率,节省下更多时间。

更新日志

火车采集器免费版V9.10(2019-10-23)
1、修复分页采集请求出错的问题
2、批量网址处理中,时间格式增加转换为“时间戳”的功能。
3、修复“智能提取电话”功能意外变为“智能提取邮箱”的bug。
4、无限极列表页采集,是否由于重复数据而停止修改为可配置(原为自动停止采集)。
5、修复老板键设置为空之后,会默认变成 CtrL+Alt的bug。
6、修复由于没有水印配置,导致的程序批量复制出错的问题。
7、修复由于多页未能获取到,导致由多页获取数据的标签丢失的bug。
8、发布模块,数据库的编码增加utf8mb4格式支持。
9、修复分页循环匹配时,组合标签仅获取第一页的bug
10、优化批量网址处理中,由于数据量太多而导致程序卡顿的问题。
11、修复使用PHP插件,无法获取请求cookie的问题。
展开全部内容
软件信息
其它版本下载

火车头采集器7.6破解版v7.6企业版 大小:47MB时间:20-09-09 详情

火车头采集器官方版 v10.24 大小:53.95MB时间:24-07-19 详情

火车头采集器v7.6绿色版 大小:47MB时间:19-06-16 详情

类似软件
实时热词 更多+
纯白和弦手游合集 篮球经理所有版本 城堡奇兵手游大全 无需联网的单机游戏 人生重开模拟器版本大全 魔力宝贝觉醒手游版本大全 仙宠物语游戏大全 偶像梦幻祭2手游合集 三国杀移动版官服 好用的游戏盒子软件 拳魂觉醒游戏合集 魂之眼版本大全
猜你喜欢
同类软件排行榜
点击查看更多
评分及评论 软件学堂官方交流群
4.9 满分5分

点击星星用来评分

captcha评论需审核后才能显示