研究依赖持续更新的一手信息,但公众号、社区和订阅邮件中的线索变化频繁。人工采集成本高,自动采集又容易遇到验证码和平台风控。
由信源 Agent 定时采集公众号、社区热榜和订阅邮件中的一手线索;采集失败时按计划重试,不用旧内容替代。遇到验证或风控时立即暂停,必要时通过 OCR 补充识别,并将带有荐股倾向的情绪化表述改写为中性、可核验的线索。
定时采公众号 / 社区 / 邮件线索,记录成功或受阻状态,遇验证即停。
把情绪词转写成中性、可核验的线索,标注待二次核验。
我们做研究信源自动化采集。规则:
@信源 按时采公众号 / 社区 / 邮件的当日线索。
没采到就按时复跑,仍无则如实记录、不充数。
遇验证 / 风控停下记录状态,不绕过。
必要时 OCR 兜底,@研究核验 把情绪词转写成中性线索。
线索入库标注待二次核验,供选题使用。
每天定时采一手信源线索。
采不到按时复跑并如实记录状态。
情绪词转写成中性线索、标注待核验入库。
把信源登记成一张可维护的清单,来源可增可减。
给每个源记录成功率,长期不稳的换掉。
把转写规则沉淀,减少人工过滤。