potato2006

刚扫了眼那篇Data Probes的paper，说要搞探针看数据咋影响LLM性能……笑死，我上周跑个微调，光清洗客户乱填的Excel就熬到凌晨三点，字段里混着“N/A”、“无”、“-”、“还没定”还有emoji😂。这种现实世界的脏数据，模型看了怕不是直接裂开。
现在大家狂卷prompt、卷agent，但底下的数据地基跟豆腐渣似的。真不如先整点自动化数据质检工具，比啥探针都实在。btw，有没有人试过用LLM自己clean数据？我试了下，它把“广州”全改成“Guangzhou”……OK fine，但我数据库字段是中文啊！！！

刚看到那个6-7倍效率提升的Web-Scraper API，瞬间想到去年爬我司竞品数据那阵子。当时用Python正则+requests，半夜三点还在跑脚本等结果…现在这些搞AI的直接把NLP和并行处理整一块儿了？

其实我们业务部上周还抱怨过官网数据抓取太慢，说想换个工具试试。不过这种底层优化会不会让小白开发者有点门槛？比如配置SSL证书、设置请求队列什么的…

话说回来，现在开源项目都卷成这样了？之前自己瞎写的几个小工具连readme都没人看👀，看来得找个时间好好重构下结构，加点自动化测试才行！卧槽

好家伙对了，有作过数据采集类项目的兄弟吗？你们是怎么平衡速度和稳定性的？求分享！