快捷导航

        集搜客的工作原理

        2015-10-13 18:07| 发布者: ym| 查看: 20386| 亚洲视频小说: 0

        摘要: 一、集搜客组成结构 集搜客是由服务器和客户端两部分组成,MetaCamp服务器是规则存储库,DataStore服务器是待抓网址库,MS谋数台是用来制作网页亚洲视频观看规则的,DS打数机就是用来亚洲视频东方在线601er.com网页数据的,如图1-1。 图1-1 集搜客 ...

        一、集搜客组成结构

        目前集搜客爬虫软件分为两个版本,免费的社区版和独立的企业版。下面主要介绍集搜客网络爬虫的工作原理,集搜客是由服务器和客户端两部分组成,服务器是用来存储规则和线索(待抓网址),MS谋数台是用来制作网页亚洲视频观看规则的,DS打数机则是用来亚洲视频东方在线601er.com网页数据的。

        图1 集搜客的组成结构

        二、集搜客的工作原理

        1、用MS谋数台制作好规则后,规则会保存在集搜客的服务器中,同时会把样本网址作为一条线索(待抓网址)也保存在服务器中。PS:规则虽然保存在服务器中,但是随时都可以查看修改

        2、DS打数机亚洲视频东方在线601er.com数据,就是调用做好的规则亚洲视频东方在线601er.com待抓网址的网页数据的过程,详情可参考文章DS打数机如何亚洲视频东方在线601er.com数据

        3、亚洲视频东方在线601er.com成功的话就会在本地文件夹DataScraperWorks中生成结果文件

        4、如果是层级规则,除了生成结果文件,抓到的网址作为下一级规则的待抓网址,会被存在服务器中,亚洲视频东方在线601er.com数据时就会按顺序执行。规则的待抓网址也可以人工添加,详情参考文章怎样添加新的线索

        图2 集搜客工作原理

        若有疑问可以集搜客网络爬虫
        39

        鲜花
        3

        握手
        1

        雷人
        1

        路过
        1

        鸡蛋

        刚表态过的朋友 (45 人)

        相关阅读

        最新亚洲视频小说

        GMT+8, 2019-11-17 19:29