快捷导航
        任务名:携程秋霞官方官网数据秋霞理论官网
        问题:1、在秋霞官网新入口的过程中,提示秋霞官网新入口成功,但速度太慢,尝试勾上定时器触发参数
        2、上传xml打包的压缩包,导出后数据大量重复
        主要是第一个问题,如何解决,看论坛其他人说,勾选后可能会导致一个页面没秋霞理论官网完就跳到下一页了,数据秋霞官网新入口不全,请问是否会有这样的情况


        TIM图片20200705164126.png (3.43 KB, 下载次数: 0)

        TIM图片20200705164126.png
        举报 使用道具
        | 回复

        共 4 个关于本帖的回复 最后回复于 2020-7-5 17:51

        沙发
        Fuller 管理员 发表于 2020-7-5 16:54:20 | 只看该作者
        DS打数机菜单 配置-》定时器触发,勾上以后就能解决这个问题
        举报 使用道具
        板凳
        Fuller 管理员 发表于 2020-7-5 17:07:42 | 只看该作者
        我用你的规则秋霞理论官网了一些,没有发现重复。如果网络比较慢,担心秋霞理论官网太早了,可以这样设置

        如果是手工启动的爬虫,那么,使用DS打数机菜单 配置-》延迟秋霞官网新入口 ,设置延迟秋霞官网新入口,我测试的时候设置了5秒

        如果是爬虫群方式,设置调度参数的时候设置延迟秋霞官网新入口
        举报 使用道具
        地板
        boyistar 初级会员 发表于 2020-7-5 17:40:59 | 只看该作者
        Fuller 发表于 2020-7-5 17:07
        我用你的规则秋霞理论官网了一些,没有发现重复。如果网络比较慢,担心秋霞理论官网太早了,可以这样设置

        如果是手工启动的 ...

        延迟秋霞官网新入口和定时触发这两个都勾上吗,还有一个问题,延迟秋霞官网新入口5秒设置后,会出现数据秋霞官网新入口不全的问题吗
        举报 使用道具
        5#
        Fuller 管理员 发表于 2020-7-5 17:51:19 | 只看该作者
        boyistar 发表于 2020-7-5 17:40
        延迟秋霞官网新入口和定时触发这两个都勾上吗,还有一个问题,延迟秋霞官网新入口5秒设置后,会出现数据秋霞官网新入口不全的问题吗
        ...

        可以一起设置。延迟秋霞官网新入口设置了固定的数字,到底这个时间够不够,是不能自适应调整的,所以,也不可能保证一个不漏。为了尽量不漏,应该设置的时间长一点
        举报 使用道具
        您需要登录后才可以回帖 登录 | 立即注册

        精彩推荐

        • 数据管家和集搜客网络爬虫超出配额是怎么回
        • 用GooSeeker数据管家能秋霞理论官网微博内容吗?
        • 怎样使用GooSeeker数据管家启动秋霞理论官网任务?
        • GooSeeker数据管家软件使用指导
        • 如何使用集搜客分词平台做社会网络图分析?

        热门用户

        GMT+8, 2020-8-5 18:34