图片爬取工具(CrawlWorm Picture) v1.3

2023-08-02发布者:zhangliang大小: 下载:0

文件大小:

软件介绍

图片爬取工具(CrawlWorm Picture)是专为使用Windows系统的用户打造的一个专业网络图片爬取工具,使用方法十分简单,只需要输入自己需要抓取的网站地址,然后设置搜索参数,软件就会开始分析网页源码获取网站的图片资源,可同时执行5个任务,非常方便。

软件功能

(1)本技术需配合SQL Server数据库使用

(2)获取图片

在获取图片时,需要用户自己输入要抓取的根网址,这里的根网址需要保证其真实存在,如果不存在则会提示网页源代码获取失败,从而导致任务启动失败。

(3)搜索参数设置

在搜索参数设置的时候,需要慎重考虑其各个参数之间的制约关系,有以下几种情况需要说明。

如果搜索深度设置过大,那么就需要将抓取数据容量设置的大一些,否则任务会因为抓取容量不足而被迫停止抓取工作。

如果能够保证自己的网络连接正常,则选择不使用代理服务器。因为使用代理服务器,在任务执行过程中,如果代理服务器失效或者停止活动,则需要重新选择代理服务器,这中间会耗费大量时间来更换代理服务器。

在选择开始执行时间时,不易将执行时间设置的过长,因为设置的过长会使任务长期处于等待状态,建议只有在任务较少的情况下这样设置。

(4)关键字管理

在关键字管理中,需要注意的是在添加主关键字的时候,要同时添加一个与主关键字名字相同的子关键字,因为在图片进行分类的时候,首先比对的是子关键字,只有子关键字匹配之后才能确定其分类归属。

另外需要注意的是,删除主关键字时会将与其相关的所有子关键字一同删除。

(5)多任务

鉴于对任务耗费资源的考虑,同时执行的任务个数设定为5个,超过5个的任务只能处于等待状态,只有5个被执行任务中有结束的,处于等待的任务才能被执行。

image.png

发表评论(共0条评论)
请自觉遵守互联网相关政策法规,评论内容只代表网友观点,发表审核后显示!

版权声明:

1 本站所有资源(含游戏)均是软件作者、开发商投稿,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担!

2 本站将不对任何资源负法律责任,所有资源请在下载后24小时内删除。

3 若有关在线投稿、无法下载等问题,请与本站客服人员联系。

4 如侵犯了您的版权、商标等,请立刻联系我们并具体说明情况后,本站将尽快处理删除,联系QQ:2499894784

返回顶部