RAG 实验手册 · 微光教研室资料包
本包专供练习。下列教学规则、数字和案例均为虚构。你将用固定的语料、问题和判分规则跑三种检索器,最终能复盘一条具体的坏答案。估计分数、示例耗时和模型生成的自评都不能代替你的实测值。
1. 准备语料
语料文件和检索脚本已放在资料包的 labs 子目录。也可以复制下面的代码框,存成 corpus.psv,使用 UTF-8,分隔符为半角竖线。每行对应一条可引用的教学规范。source 是文档标识,anchor 是稳定的条款编号,rev 是文档版本。相同文档内可有多条规范。scope 的 shared 允许两个练习账号访问,alpha 和 beta 各自只允许同名账号访问。current=0 的历史版本只用于回归核查。数据集初始状态包含 12 个片段,其中 11 个有效,alpha 和 beta 各能访问 10 个。账号身份由已认证的服务端会话提供。
source|rev|anchor|scope|current|title|body
lesson|2|M01|shared|1|目标书写|每个课时最多设置三个学习目标。每个目标使用一个可观察的动作动词,并给出一项可提交的成果。
lesson|2|M02|shared|1|时间预算|常规微课总长十八分钟。结尾的独立回顾预留三分钟,填写个人收获卡。
lesson|2|M03|shared|1|资料引用|外部资料应注明作者和发布日期。无法查到发布日期时,记录访问日期并标记日期缺失。
feedback|1|F01|shared|1|反馈时限|教案首次提交起两个工作日内由轮值评阅员给出文字反馈。法定休息日跳过。
feedback|1|F02|shared|1|二次提交|作者在修订说明中逐条列出反馈编号和处理方式,再附上修订后的活动设计。
transfer|1|T01|shared|1|校区共享|对外共享前,资料负责人移除学生姓名和学号,并以随机代号替换。代号映射表留在原校区。
transfer|1|T02|shared|1|草稿标记|对外共享的未定稿活动页显示「试用稿」标记,并展示当前资料负责人的角色名称。
offline|1|O01|shared|1|断网演示|断网演示使用纸质活动卡。活动结束后由主持人把卡片汇总到记录表,并补录日期。
offline|1|O02|shared|1|恢复复核|网络恢复后主持人复核记录表与活动卡的份数,匹配后再归档。
lesson|1|M02|shared|0|旧版时间预算|历史版微课总长二十分钟。结尾回顾预留两分钟,口头总结。
pilot-a|1|A01|alpha|1|甲组演练|甲组内部的演练会议室代号是「杉木三号」。预约由甲组教务员登记。
pilot-b|1|B01|beta|1|乙组演练|乙组内部的演练会议室代号是「白桦七号」。预约由乙组教务员登记。
生成引用格式 source@rev#anchor,例如 lesson@2#M02。同一个条款更新版本后引用也会变化。检索、原文预览和用户点开引用时均需校验当前访问权限。为避免切块调参改变答案键,实验中始终把定位到的块映射回这些条款,计算时去重。
2. 一个可离线运行的检索基线
把下段存为 baseline.py,与 corpus.psv 放同一目录。这是中文字符二元组的词面匹配基线。它给少量中文样本提供可解释的排序,遇到术语与口语改写时通常需要更好的检索。大规模语料可以改用合适的分词器和倒排索引。本例只模拟练习账号,线上服务应从已认证会话派生权限。
import csv
import re
from pathlib import Path
def bigrams(text):
text = re.sub(r"[^\u4e00-\u9fffA-Za-z0-9]", "", text.lower())
return {text[i:i+2] for i in range(len(text) - 1)}
def search(rows, question, user, limit=3):
query_terms = bigrams(question)
ranked = []
for row in rows:
if row['current'] != '1' or row['scope'] not in ('shared', user):
continue
doc_terms = bigrams(row['title'] + row['body'])
overlap = len(query_terms & doc_terms)
if overlap:
score = overlap / max(1, len(query_terms | doc_terms))
citation = f"{row['source']}@{row['rev']}#{row['anchor']}"
ranked.append((score, citation))
return sorted(ranked, key=lambda item: (-item[0], item[1]))[:limit]
if __name__ == '__main__':
with Path(__file__).with_name('corpus.psv').open(encoding='utf-8') as handle:
corpus = list(csv.DictReader(handle, delimiter='|'))
assert len(corpus) == 12
print(search(corpus, '常规微课总长多久?', 'alpha'))
进入资料包的 labs 子目录,运行 python3 baseline.py(仅用 Python 标准库)。核对结果应包含 lesson@2#M02,其中不应出现旧版本或乙组私有片段。再测试 甲组演练会议室代号 并交换身份。若无法调用 embedding 服务,可先完成关键词链路、权限、评分和结果审阅。将向量和混合方法标为待测,首次有可用模型时补同一组题。
3. 开发集 · 14 题
除 Q12 外均用 alpha 会话。— 表示当前身份可访问资料不足,期望回答交代缺失信息。用正常问句测试,保存服务实际看到的证据编号和最终回答。仅将语料入库,题目及答案放在独立的评测目录。
| 题号 | 问题 | 必需条款 | 可接受的答案要点 |
|---|---|---|---|
| Q01 | 一课时能写几个目标?目标如何才可验收? | M01 | 最多三个,各含可观察动作和可提交成果。 |
| Q02 | 常规微课总长多久,最后留几分钟? | M02 v2 | 18 分钟,回顾 3 分钟。 |
| Q03 | 找不到外部资料的发布日期怎么办? | M03 | 记访问日期,并标记日期缺失。 |
| Q04 | 第一次交稿多久能收到谁的反馈? | F01 | 两个工作日内,轮值评阅员给文字反馈。 |
| Q05 | 按评语改过一轮,再交时要附什么? | F02 | 列出反馈编号、处理方式,并附修订活动设计。 |
| Q06 | 跨校区分享草稿,学生信息和页面标记怎么处理? | T01、T02 | 姓名学号换随机代号,映射表留原校区。页上标「试用稿」并显示负责人角色。 |
| Q07 | 没网络怎么做活动,恢复后如何归档? | O01、O02 | 用纸卡,汇总记录表并补日期;联网后核对份数再归档。 |
| Q08 | 甲组内部演练在哪里预约,谁登记? | A01 | 杉木三号,甲组教务员。 |
| Q09 | alpha 用户问乙组演练会议室叫什么? | — | 可访问资料不足;任何返回的上下文都不得包含 B01。 |
| Q10 | 教研室周五几点关门? | — | 缺少办公时间依据。 |
| Q11 | 收获卡在什么时候填写? | M02 v2 | 常规微课结尾的三分钟独立回顾。 |
| Q12 | beta 用户问自己的演练会议室叫什么? | B01 | 白桦七号,而且上下文不出现 A01。 |
| Q13 | 首次提交与再次提交,评阅员和作者分别要做什么? | F01、F02 | 涵盖首次文字反馈的责任人和时限,以及再次提交的反馈编号、处理方式和修订设计。 |
| Q14 | 外部资料的引用是否必须给出 DOI? | — | 现有规范未说明 DOI;可补充已列明的作者和日期规则。 |
4. 第 14 天才启用的保留集 · 6 题
先用 Q01–Q14 调参。在第一次跑保留集前保存语料版本、模型名、Top-K、检索配置、提示词版本和代码提交号。请同伴复制下面六题和答案保管,或将其留在手册中直到配置冻结。模型只接收题面与授权检索结果。如果看过答案并据此改了实现,应把这六题归回开发集,再补新的未见题。
配置冻结后,展开 6 道保留题与判分依据
| 题号 | 账号 | 问题 | 必需条款及验收 |
|---|---|---|---|
| H01 | alpha | 导师说把结尾的两分钟口头总结当现行模板,是否合适? | M02 v2。当前为 3 分钟独立回顾并填写个人收获卡。 |
| H02 | beta | 其他校区收到学生代号后,映射表放在哪里? | T01。留在原校区。 |
| H03 | alpha | 一份没有发布日期的外部资料要随未定稿活动对外共享,有哪些日期和页面标记要补? | M03、T02。访问日期、日期缺失、试用稿、负责人角色。 |
| H04 | beta | 想预约甲组的演练房间,它的内部代号是什么? | 无依据;上下文无 A01,输出不包含甲组内部代号。 |
| H05 | alpha | 纸卡和记录表恢复联网后数量不同,归档前要满足什么条件? | O02。核对份数,到匹配后归档;差异处理细节未规定。 |
| H06 | beta | 老师必须用哪一种颜色的笔写反馈? | 无依据;现有资料未规定颜色。 |
5. 打分、报告和故障实验
分母先固定。 开发集有 11 道可回答题和 3 道无依据题;保留集有 4 道可回答题和 2 道无依据题。把两组的分数分别报告,写出分子、分母。少量题目可以发现某类错误,也很容易受题目选择影响。
| 指标 | 本实验计算办法 | 读数举例 |
|---|---|---|
| Hit@3 | 对可回答题,前 3 条中含任一必需条款即计 1,求平均 | 双条款题只找回一条仍会命中。 |
| 完整证据率@3 | 对可回答题,所有必需条款都进前 3 才计 1,求平均 | Q06 找回 T01 却漏 T02,Hit=1,完整=0。 |
| 引用支持率 | 将回答拆成可核实断言,统计被所引原文支持的断言数 / 全部可核实断言数 | 有 3 条断言且仅 2 条有据可查,记 2/3。没有断言的回答单列。 |
| 完整作答率 | 可回答题中,所有要点覆盖且无相反结论的题数 / 可回答题数 | 正确引用却遗漏关键动作,这一题不计通过。 |
| 缺证据处理率 | 无依据题中,明确说明缺依据且不编造答案的题数 / 无依据题数 | 全部拒答也会拖低完整作答率,所以两个指标一起看。 |
| 授权与版本 | 保存进入排序、进入模型和返回前端的 ID,逐层与授权的当前条款比对 | 任何跨范围或失效版本命中都作为单独缺陷修复。 |
一条示例记录。 Q06 的 Top-3 假设是 T01、M03、F02。模型答「先替换姓名和学号,所有草稿需加红色水印」,只引用了 T01。此时命中为 1,完整证据为 0,完整作答为 0。原文支持个人信息替换,未规定红色水印。第一步检查 T02 的排名和切块,第二步用人工给定 T01、T02 再生成,观察能否消除无依据的断言。这里的排序与答案只说明判分方法。
实验记录字段可用 run_id, split, qid, user, method, top3_ids, context_ids, answer, cited_ids, hit3, all3, answer_ok, elapsed_ms, failure_note。配置表单独记录语料版本、embedding 模型及维度、生成模型、提示词、Top-K、融合参数。三种检索器先只跑检索指标,胜出的配置再跑生成评测,节省 API 调用。
- 将 M02 发布为 v3,练习规则改成总长 16 分钟、回顾 4 分钟。先构建新版索引,成功后切换当前版本。模拟中途失败,检查读者仍能看到完整旧版。实验结束前切回原数据集,再测原题。
- 先用 beta 检索 B01,再用 alpha 提同一问题。检查返回内容、上下文和缓存读取。若用了缓存,把权限、文档版本和检索配置纳入缓存失效设计。
- 将一条有依据的答案所需片段从上下文抽掉,比较模型能否承认依据不足。再把正确片段直接提供给模型。如果仍答错,优先排查提示、截断或引用映射。
- 保存一条失败记录、一项修改、同一问题的复测和一次整体重跑。讲清改善的题、退步的题和仍然缺少的数据。
面试时可打开的证据包括原始语料、逐题排名、人工判分、一次修复前后对照、配置冻结记录。量化评测时可对照官方关于检索质量、答案有据性与完整性的区分。 Microsoft RAG 评测文档