第 2 周 · 从文档检索到带出处的回答
22 小时后的交付件是一页能按账号提问、打开原文的知识库,一份逐题评测结果,以及对一条坏答案的诊断。第 1 周的账号、资料上传、后台任务和错误处理都可以复用。本周配套的RAG 实验手册提供可直接复制的语料、离线检索脚本、14 道开发题和 6 道保留题。
先走通一条问题
用户问「常规微课总长多久,最后留几分钟?」。入库时按条款切分资料,保存当前版本、访问范围、段落原文和该段的向量。提问时,从此用户能读的当前条款中检索候选,将少量候选及其编号交给模型。模型根据原文组织答案,服务端检查引用确实属于本次上下文,用户点开可见「总长十八分钟,结尾回顾预留三分钟」的原文。这两条链路合在一起就是本周动手实现的 RAG。资料更新、访问范围变化和模型答错时,你需要能判断该修哪一段。 Microsoft RAG 概述
| 环节 | 你要留下的观察点 | 典型故障 |
|---|---|---|
| 入库与切块 | 原文条款、文档版本、当前发布状态 | 新旧规范同时被检索;切掉了条款的适用条件。 |
| 检索与排序 | 身份、查询、各路排名、最后选中哪些片段 | 专有名词未匹配;同义表达拉远了目标条款。 |
| 上下文与生成 | 实际送入模型的片段编号、输出、引用、耗时 | 找到了片段但被截断;引用存在但无法支持答案。 |
本篇目录
D08 · 接通生成模型,定义失败的样子(2 小时)
起点是上周能完成任务的模拟生成器。今天用真实模型跑通一条请求,同时保留可离线重复的模拟实现。
- 20 分钟。读清模型服务支持的输入长度、输出结构和用量返回字段。token 是分词器计算的输入输出单位。做一次中文短请求,用返回字段记录实际用量,不用字符数直接代算 token。
- 45 分钟。在项目里统一
generate(messages, deadline)调用接口。输入两项固定信息「三年级」「介绍水循环」,期望返回title、objectives[]。在服务端校验字段类型、有无缺失、数组非空。把密钥放入环境变量。 - 35 分钟。用模拟器分别返回成功、超时、非预期 JSON。让 worker 写入成功结果或可读错误类型,记录请求耗时、模型标识、供应商请求 ID(若有)和输入输出用量。
- 20 分钟。保存一份成功样例与两条故障测试。口述流畅而格式无效的文本会被哪个边界拦下。
卡住时,先用最小消息直连确认凭据、模型名称和配额,再接业务层。没有凭据时,用模拟器完成校验和状态机,标记一次真实调用待补。
D09 · 做资料版本与可追溯切块(2 小时)
为什么切块。用户问的是一条规则;送整篇文档会占用上下文,还会引入相邻但无关的规范。切得太碎又可能只剩数字,丢掉「常规微课」这一适用范围。今天先采用一条规则一块,并保留标题、条款、版本与范围。
- 20 分钟。读取资料包 12 行,核对各账号可读取 10 条当前规则。用纸画出「文档 → 版本 → 片段 → 引用」关系。
- 55 分钟。写导入器。每个片段保存
source/rev/anchor/scope、标题和正文,给相同文档版本与条款建立唯一约束。先按行导入,再用同一文件重跑,记录行数。 - 30 分钟。实现按引用取当前授权原文,例如
lesson@2#M02。资料预览和检索使用相同的范围规则。对更新场景,准备好新版本后在一个事务内切换当前版本。 - 15 分钟。检查重复导入、旧版查询和私有片段的可见性。保存核查结果与一条引用样例。
面试追问。如果同一条款被切成两个块,怎么让引用稳定?可以保留条款级定位并为片段加文本偏移和版本,再说明文档改版时旧引用如何展示。
D10 · 给中文检索建立基线(2 小时)
- 20 分钟。用资料包的离线脚本跑第一条问题。把「常规微课」和「小课」分别拿来查询,观察共现字符变化。
- 45 分钟。在服务端增加检索入口,例如
GET /materials/search?q=...。先取当前账号可访问的候选,再按词面得分排序。返回引用、标题、摘要,并为同分结果设置固定排序。 - 35 分钟。测 Q01、Q02、Q04、Q08、Q09。保存前 3 名;回答 Q09 的上下文中应没有 B01。记录一次完全没命中与一次只命中相近条款的差异。
- 20 分钟。写下词面排序的一项优势和一项失败。向 AI 提问「根据这些排名,哪一个原因还需补实验才能判断?」并检查它是否引用了真实样本。
排查顺序。直接按条款 ID 确认是否已入库,随后核对账号与当前版本,再查看输入和字段分词结果,最后才调排序参数。
D11 · 用 embedding 找同义表达(2 小时)
Embedding 把文本映射成向量。查询和文档按服务商规定使用匹配的模型及编码方式,通过距离排序找语义邻近的文本。余弦距离较小代表方向较接近,数字本身不能直接当成「答案正确概率」。
- 20 分钟。先写下 Q05 的口语问法,与 F02 的原文并排比较。猜测关键词和向量各会把哪个片段排在前面。
- 50 分钟。批量编码
标题 + 正文,保存模型标识、维度和片段引用。编码问题,用余弦距离对授权候选做精确排序。本组数据很小,使用 pgvector 或在程序中逐条计算即可。pgvector 可通过<=>求余弦距离,查询需按距离升序取前 K。 pgvector 项目文档 - 30 分钟。用相同的 Top‑3 和相同身份重跑 D10 的五题,并加上 Q05。比较每题的 rank 与匹配原因,检查旧版 M02 是否混入。
- 20 分钟。解释更换 embedding 模型时为什么要统一重建文档向量与查询编码。提交对照表和一条模型版本记录。
卡住时,先核对维度、空文本、请求输入格式及距离排序方向。相同向量应排在自身近邻之首。若模型服务暂不可用,先用手算向量 (1,0)、(0,1) 与查询 (1,0) 检查排序程序,把真实语义评测标为待跑。
D12 · 定义评测集,冻结一次基线(2 小时)
- 25 分钟。只打开资料包开发题。把每个问题的账号、必需证据编号、可答/缺依据状态录入评测文件。给版本题标明
M02 v2。 - 45 分钟。写一个循环,逐题运行两套检索,保存排名、耗时、Hit@3 和完整证据命中。Q06 同时需要 T01、T02,单条命中可以遗漏一半答案。
- 30 分钟。分别列出 11 道可答题与 3 道无依据题。无依据题检查返回上下文与后续回答,不能把它们当作检索无命中加分。为模型有凭据仍漏答的情况预留
generation_failure字段。 - 20 分钟。保存配置、数据版本和原始结果,选两条失败例做 D13 的对照。把保留集继续封存。
口试。检索全命中,用户仍然给差评,能有哪些可区分的原因?拿一条记录检查证据是否完整、是否实际进入上下文、回答是否遵循原文,再查展示层是否错配引用。
D13 · 混合检索、引用问答与原文预览(6 小时)
第一段 2 小时。并行获取关键词与向量各自的授权排名,每路先取前 5。按条款合并后取前 3 条。试用倒数排名融合 RRF,每项得分为各路 1/(60+rank) 之和,第一名的 rank 为 1,缺席的一路贡献 0。这适用于两路原始分数刻度不同的情况。比较关键词、向量、混合三张开发集结果表。 Microsoft RRF 原理
第二段 2 小时。实现 ask(question, actor)。依次检索、装配上下文、调用模型、校验引用并返回答案。为每个片段带上版本和条款,要求支持不了结论时明确缺什么资料。限定模型只能返回本次候选中的引用 ID,由服务端映射原文链接,再根据用户身份验证原文可见性。给输出定个小契约。
{
"status": "answered",
"answer": "常规微课总长十八分钟,结尾回顾预留三分钟。",
"citations": ["lesson@2#M02"]
}
第三段 2 小时。做问答页与出处展开,测试 Q02、Q06、Q09、Q10,再跑剩余开发题。记录模型收到的片段 ID 和实际用量。请 AI 按「断言、引用、原文」列审阅表,自己逐条核对至少一条错误回答。遇到引用 ID 合法但断言没有原文支撑时,给答案的有据性判失败。
收工条件。页面能打开授权原文,旧版本与越权资料未进入模型;有三种检索方法的实测记录。若前端耗时偏长,可在已有资料页做最小问答表单,把样式留到整体验收。
D14 · 做回归、锁定配置、完成盲测(6 小时)
- 90 分钟。做更新、删除或撤销访问实验。新版本尚未构建完成时,当前文档可继续检索。切换后旧片段消失。资料失效要同步考虑检索、原文链接和缓存。保存一次更新前后查询。
- 90 分钟。从开发集挑两个失败案例。在相同问题上人工塞入正确证据再生成,测清故障在哪一段。每次只改一件事,例如多取两条候选,或在标题与正文间加清晰边界。回跑全部开发题查退步。
- 90 分钟。保存配置并首次打开 6 道保留题,运行一次,人工复核。分开报告开发集和保留集的命中数、完整回答数、缺依据处理和权限检查。附上请求和回答的实测耗时、模型用量,有重试要计入总调用。
- 90 分钟。写一页复盘。选一条被修复的问答,一条仍然失败的问答,各列输入、证据、输出和可检验的原因。三分钟录音回答「为什么小样本先用精确搜索」「同义词产生误检怎么办」「为什么有了引用还要评测答案」。把
search_materials的入参、权限、输出片段和失败类型交给下周 Agent 工具使用。
过关标准。你能现场跑一条有依据和一条无依据的问题;用另一个账号复测私有资料范围;让一名开发同事用你的结果表复算至少一个指标;诚实说明样本量与未覆盖场景。若当天进度受限,保留授权、版本、原始排名、一次受控对照和冻结配置的盲测,复杂排序留作后续实验。