火车采集器免费版是一款专业、功能强大的信息挖掘和下载软件。该软件可以轻松地从网页中获取文本、图像、文件和其他资源。支持网站登录后获取信息、收集防盗链、数据直接存入数据库、模拟人工发布等多种功能。
1、通用性强
无论是新闻、论坛、视频、黄页、图片还是下载网站,只要通过浏览器能看到结构化的内容,通过指定匹配规则,就可以采集到你需要的内容。
2.稳定高效
经过五年的努力,软件不断更新和完善,采集速度快、性能稳定、资源消耗低。
3、可扩展性强,应用范围广
定制Web发布,定制主流数据库的存储和发布,定制本地PHP和.NET外部编程接口处理数据,让数据为您所用。
1. 创建一个新组
创建新的任务组,选择所属组,并确定组名称和备注。
2. 创建新任务
确定所属组,新建任务,填写任务名称并保存。
3.Web发布配置
Web发布配置定义了如何登录网站并向网站提交数据。
主要涉及获取登录信息、网站编码设置、获取栏目列表、用数据测试发布效果。
4.Web发布模块
您可以定义网站登录、获取栏目列表、获取网页随机值、内容发布参数、上传文件、构建发布数据等高级功能。
5. 数据库发布配置
数据库发布配置定义了数据库链接信息的设置以及数据库模块的选择。
6.数据库发布模块
用于编辑数据库的发布模块允许我们将数据发布到配置的数据库中。
火车收集器可以从四种数据库类型中进行选择:mysql、sqlserver、oracle 和access。在文本输入框中填写sql语句。
(需要数据库相关知识),并且可以使用标签来替换相应的数据。您还可以加载收集器模块文件夹中的模块进行编辑。
7. 计划任务
设置列表中收集任务的启动时间表,可以是每个时间间隔、每天、每周、仅一次或自定义的Cron 表达式。
(Cron表达式的编写方法请参考相关术语中的介绍)。保存设置后,即可根据设置执行任务。
8.插件管理
插件是可用于扩展火车采集器功能的程序
Train Collector V9支持三种类型的插件:PHP源代码、C#源代码和C#类库。
可用于扩展http请求、内容处理、文件下载等功能,可单独测试。
9.http二级代理
网络中的服务器允许网络用户获取所需的网络信息。
代理的作用是突破自身IP的访问限制访问国外站点,访问某些单位或团体的内部资源。
突破电信IP封锁、隐藏真实IP等
Train Collector V9支持http代理、socket4和socket5代理。
10.http模拟请求
您可以设置如何发起http请求,包括设置请求信息和返回头信息。并具有自动提交功能。
1.规则定制——通过采集规则的定义,您可以搜索所有网站并采集几乎任何类型的信息。
2.多任务和多线程——可以同时执行多个信息获取任务,每个任务可以使用多个线程。
3.所见即所得——任务采集过程中所见即所得。过程中遍历到的链接信息、采集信息、错误信息等都会及时反映在软件界面中。
4.数据保存——数据在采集的同时自动保存到关系数据库中,并且数据结构可以自动适应。软件可以根据采集规则自动创建数据库以及其中的表和字段,还可以通过数据库导入灵活地将数据保存到客户现有的数据库结构中。
5、断点续传——信息采集任务停止后可以从断点续传。从此,您再也不用担心您的采集任务被意外中断。
6.网站登录-支持网站cookies,支持网站可视化登录,甚至可以收集登录时需要验证码的网站。
7. 定时任务——通过该功能,您的采集任务可以定时、定量或连续循环执行。
8、收集范围限制——可以根据收集深度和网站地址的标识来限制收集范围。
9、文件下载——可以将采集到的二进制文件(如图片、音乐、软件、文档等)下载到本地磁盘或采集结果数据库中。
10.结果替换——您可以将收集到的结果替换为您根据规则定义的内容。
11. 条件保存——您可以根据某种条件决定保存哪些信息以及过滤哪些信息。
12、过滤重复内容——软件可以根据用户设置和实际情况自动删除重复内容和重复网址。
13. 特殊链接识别- 使用此功能可以识别用JavaScript 动态生成的链接或其他更奇怪的链接。
14.数据发布——采集的结果数据可以通过定制的接口发布到任何内容管理系统和指定数据库。目前支持的目标发布媒体包括:数据库(access、sql server、my sql、oracle)和静态html文件。
15、预留编程接口——定义多种编程接口。用户可以使用PHP和C#语言在事件中进行编程来扩展采集功能。
1.支持所有网站编码:完美支持所有编码格式的网页采集,程序还可以自动识别网页编码。
2、多种发布方式:支持目前所有主流和非主流CMS、BBS等网站程序。通过系统的发布模块,可以实现收藏家与网站程序的完美结合。
3、全自动:无人值守工作。配置完程序后,程序会根据您的设置自动运行,无需人工干预。
4.本地编辑:在本地可视化编辑收集的数据。
5、采集和测试:这是任何其他同类采集软件所无法比拟的。程序支持直接查看采集结果并进行测试和发布。
6、管理便捷:采用站点+任务的方式管理采集节点。任务支持批量操作,无论数据有多少,都可以轻松管理。
以上就是小编给大家带来的火车收集器(LocoySpider)的详细介绍。更多内容和软件下载,可以收藏兔鸡下载站!
121.36MB
1117.83MB
2282.95MB
31.68GB
4353.11 MB
588.6M
6538.62MB
7102MB
8