采集流程:
采集源整理:根据需求字段人工找出字段出现的页面位置,记录该位置和所需资源。
采集协议封装:通过工具获取采集请求链接,构造上下文相关请求,实现自主组包。
定制化采集:通过并发训练,找出适应请求的IP、账户、机群等资源最优配置。
结果解析:多源数据抽取解析,并生成最终数据。