RAG已死？
RAG已死？
蔡坨坨转载请注明出处❤️
作者：测试蔡坨坨
原文链接：caituotuo.top/d3ea0f46.html
前言
你好，我是测试蔡坨坨。
互联网有个传统，每隔一阵子就会有人高喊一句“XX已死”。
比如什么“前端已死”、“Java已死”……结果呢？大家该用还在用，该卷还在卷。哪有那么多“已死”，大多数时候只是个噱头。
到了AI时代，这股“死亡预言”更是卷土重来。最近最常见的就是——“RAG已死”。
其实，“已死论”早就是互联网的保留节目。喊的人未必真懂，只是为了制造焦虑，顺便蹭点流量。
背景
那为什么会有“RAG已死”的说法呢？
源头可以追溯到 3 周前，Chroma 的 CEO Jeff Huber 在《Latent Space》 博客节目的一次访谈。
Jeff Huber 是一个对技术前沿有深度思考的探索者，Chroma 也是目前最好的几个专用于大模型问答的向量数据库之一。
原视频：https://www.youtube.com/watch?v=pIbIZ_Bxl_g
核心观点
在这场访谈中，Jeff Huber 提出一个核心观点：
随着技术的发展，大模型的上下文窗口会越来越长，可以支持足够的内容，但大模型普遍对长文本的支持情况都不好。虽然模型能“看”，却不一定能“理解好”。
类似于开卷考试，你带一页纸进去，上面全是精选的知识，你边看边考，最后拿70分。但现在你可以带一本书，但是书里内容太多太杂，你很难把这些知识点组合起来，结果你翻来翻去，最后反而只考了60分。
所谓RAG，就像是给书加上目录，方便你找到相关答案，也是眼下的主流方案。
另一个探索方向是提升大模型对长文本的处理速度和理解能力。这样一来，即使你带的一本没有目录的厚书，只要我看得够快、理解得够深，准确度和速度反而要比先建立目录再去找更快更准。
这种探索方向类似于，五年前手机电池普遍不耐用，大家出门都要带充电宝，又觉得很麻烦。所以有人提出以后的手机电池会有更大续航、充电更快，所以充电宝这个产品要死啦。
RAG就像今天的“充电宝”，还活着。
结论
所以结论就是，眼下RAG依然是最好的提升回答准确性、专业性，降低幻觉的最好应用。
RAG确实是目前最优解，但是坑确实也多，看着简单，做过才知道有一堆坑。正所谓“一天出demo，半年没落地”，就像Jeff Huber说的 *We’d seen how demos were easy to build but building a production reliable system was incredibly challenging, and the gap between demo and production didn’t really fell like engineering. It felt a lot more like alchemy.*。
但是话又说回来了，如果没有坑、没有门槛，那岂不就没有需求、没有客户了。再次引用Jeff Huber的一句话 *80% is quite easy, but getting from 80% to 100% is where all the work is.*。
还有在上篇关于Context Engineering的文章中我们也说到，即使你的模型有超大Context Window，也不能把所有资料不加筛选地全部丢给它，杂乱、冗余、矛盾的信息会让它”选择困难”，最终输出含糊其辞的回答。
