跳到主要内容Skip to main content

Models · Data · 指南

RAG 语料怎么选:先定问题,再定文档

RAG 的语料不是“越多越好”。先写清用户会问什么、答案应该来自哪类文档、文档会不会更新,再决定收什么、切多大、怎么评。

先写 20 个真实问题

从用户真正会问的问题开始,不要从“我有哪些文档”开始。每个问题标注:答案在哪类文档、是否需要多跳、是否有时效、是否涉及权限。

如果 20 个问题里有 15 个答案在同一个文档集,就先做这个小集;不要为了覆盖长尾把整个站点抓下来。

文档质量比切分参数更重要

重复、过时、互相矛盾的文档,会让检索看起来召回很高、答案却互相打架。先做去重、版本标记、失效标记和权限标记,再调 chunk size。

切分要保留标题层级与表格结构;把一张表切成几段,模型很难拼回关系。对合同、法规、手册这类文档,按节切比按固定字数切更稳。

检索与生成分开评

检索评召回与排序:正确段落有没有进前 k、排在第几。生成评忠实度与完整性:答案是否只用检索到的内容、有没有漏掉关键条件。

不要用一个“回答好不好”的总分代替两项。检索错、生成对,是运气;检索对、生成错,是提示或模型问题。分开记,才知道该改哪。

更新与权限要进设计

文档会更新,索引要能按文档版本重建;删除的文档要从索引里删掉,不能只覆盖页面。权限要在检索层做过滤,不能靠提示词“请不要回答”。

如果文档含个人信息或客户数据,先做脱敏与访问控制;RAG 不是把数据关进模型里就安全了。