高级全栈与 FDE 工程学习手册四周 · 88 小时

RAG 实验手册 · 微光教研室资料包

本包专供练习。下列教学规则、数字和案例均为虚构。你将用固定的语料、问题和判分规则跑三种检索器,最终能复盘一条具体的坏答案。估计分数、示例耗时和模型生成的自评都不能代替你的实测值。

本篇目录

1. 准备语料

语料文件和检索脚本已放在资料包的 labs 子目录。也可以复制下面的代码框,存成 corpus.psv,使用 UTF-8,分隔符为半角竖线。每行对应一条可引用的教学规范。source 是文档标识,anchor 是稳定的条款编号,rev 是文档版本。相同文档内可有多条规范。scope 的 shared 允许两个练习账号访问,alpha 和 beta 各自只允许同名账号访问。current=0 的历史版本只用于回归核查。数据集初始状态包含 12 个片段,其中 11 个有效,alpha 和 beta 各能访问 10 个。账号身份由已认证的服务端会话提供。

source|rev|anchor|scope|current|title|body
lesson|2|M01|shared|1|目标书写|每个课时最多设置三个学习目标。每个目标使用一个可观察的动作动词,并给出一项可提交的成果。
lesson|2|M02|shared|1|时间预算|常规微课总长十八分钟。结尾的独立回顾预留三分钟,填写个人收获卡。
lesson|2|M03|shared|1|资料引用|外部资料应注明作者和发布日期。无法查到发布日期时,记录访问日期并标记日期缺失。
feedback|1|F01|shared|1|反馈时限|教案首次提交起两个工作日内由轮值评阅员给出文字反馈。法定休息日跳过。
feedback|1|F02|shared|1|二次提交|作者在修订说明中逐条列出反馈编号和处理方式,再附上修订后的活动设计。
transfer|1|T01|shared|1|校区共享|对外共享前,资料负责人移除学生姓名和学号,并以随机代号替换。代号映射表留在原校区。
transfer|1|T02|shared|1|草稿标记|对外共享的未定稿活动页显示「试用稿」标记,并展示当前资料负责人的角色名称。
offline|1|O01|shared|1|断网演示|断网演示使用纸质活动卡。活动结束后由主持人把卡片汇总到记录表,并补录日期。
offline|1|O02|shared|1|恢复复核|网络恢复后主持人复核记录表与活动卡的份数,匹配后再归档。
lesson|1|M02|shared|0|旧版时间预算|历史版微课总长二十分钟。结尾回顾预留两分钟,口头总结。
pilot-a|1|A01|alpha|1|甲组演练|甲组内部的演练会议室代号是「杉木三号」。预约由甲组教务员登记。
pilot-b|1|B01|beta|1|乙组演练|乙组内部的演练会议室代号是「白桦七号」。预约由乙组教务员登记。

生成引用格式 source@rev#anchor,例如 lesson@2#M02。同一个条款更新版本后引用也会变化。检索、原文预览和用户点开引用时均需校验当前访问权限。为避免切块调参改变答案键,实验中始终把定位到的块映射回这些条款,计算时去重。

2. 一个可离线运行的检索基线

把下段存为 baseline.py,与 corpus.psv 放同一目录。这是中文字符二元组的词面匹配基线。它给少量中文样本提供可解释的排序,遇到术语与口语改写时通常需要更好的检索。大规模语料可以改用合适的分词器和倒排索引。本例只模拟练习账号,线上服务应从已认证会话派生权限。

import csv
import re
from pathlib import Path


def bigrams(text):
    text = re.sub(r"[^\u4e00-\u9fffA-Za-z0-9]", "", text.lower())
    return {text[i:i+2] for i in range(len(text) - 1)}


def search(rows, question, user, limit=3):
    query_terms = bigrams(question)
    ranked = []
    for row in rows:
        if row['current'] != '1' or row['scope'] not in ('shared', user):
            continue
        doc_terms = bigrams(row['title'] + row['body'])
        overlap = len(query_terms & doc_terms)
        if overlap:
            score = overlap / max(1, len(query_terms | doc_terms))
            citation = f"{row['source']}@{row['rev']}#{row['anchor']}"
            ranked.append((score, citation))
    return sorted(ranked, key=lambda item: (-item[0], item[1]))[:limit]


if __name__ == '__main__':
    with Path(__file__).with_name('corpus.psv').open(encoding='utf-8') as handle:
        corpus = list(csv.DictReader(handle, delimiter='|'))
    assert len(corpus) == 12
    print(search(corpus, '常规微课总长多久?', 'alpha'))

进入资料包的 labs 子目录,运行 python3 baseline.py(仅用 Python 标准库)。核对结果应包含 lesson@2#M02,其中不应出现旧版本或乙组私有片段。再测试 甲组演练会议室代号 并交换身份。若无法调用 embedding 服务,可先完成关键词链路、权限、评分和结果审阅。将向量和混合方法标为待测,首次有可用模型时补同一组题。

3. 开发集 · 14 题

除 Q12 外均用 alpha 会话。— 表示当前身份可访问资料不足,期望回答交代缺失信息。用正常问句测试,保存服务实际看到的证据编号和最终回答。仅将语料入库,题目及答案放在独立的评测目录。

题号 问题 必需条款 可接受的答案要点
Q01 一课时能写几个目标?目标如何才可验收? M01 最多三个,各含可观察动作和可提交成果。
Q02 常规微课总长多久,最后留几分钟? M02 v2 18 分钟,回顾 3 分钟。
Q03 找不到外部资料的发布日期怎么办? M03 记访问日期,并标记日期缺失。
Q04 第一次交稿多久能收到谁的反馈? F01 两个工作日内,轮值评阅员给文字反馈。
Q05 按评语改过一轮,再交时要附什么? F02 列出反馈编号、处理方式,并附修订活动设计。
Q06 跨校区分享草稿,学生信息和页面标记怎么处理? T01、T02 姓名学号换随机代号,映射表留原校区。页上标「试用稿」并显示负责人角色。
Q07 没网络怎么做活动,恢复后如何归档? O01、O02 用纸卡,汇总记录表并补日期;联网后核对份数再归档。
Q08 甲组内部演练在哪里预约,谁登记? A01 杉木三号,甲组教务员。
Q09 alpha 用户问乙组演练会议室叫什么? — 可访问资料不足;任何返回的上下文都不得包含 B01。
Q10 教研室周五几点关门? — 缺少办公时间依据。
Q11 收获卡在什么时候填写? M02 v2 常规微课结尾的三分钟独立回顾。
Q12 beta 用户问自己的演练会议室叫什么? B01 白桦七号,而且上下文不出现 A01。
Q13 首次提交与再次提交,评阅员和作者分别要做什么? F01、F02 涵盖首次文字反馈的责任人和时限,以及再次提交的反馈编号、处理方式和修订设计。
Q14 外部资料的引用是否必须给出 DOI? — 现有规范未说明 DOI;可补充已列明的作者和日期规则。

4. 第 14 天才启用的保留集 · 6 题

先用 Q01–Q14 调参。在第一次跑保留集前保存语料版本、模型名、Top-K、检索配置、提示词版本和代码提交号。请同伴复制下面六题和答案保管,或将其留在手册中直到配置冻结。模型只接收题面与授权检索结果。如果看过答案并据此改了实现,应把这六题归回开发集,再补新的未见题。

配置冻结后,展开 6 道保留题与判分依据
题号 账号 问题 必需条款及验收
H01 alpha 导师说把结尾的两分钟口头总结当现行模板,是否合适? M02 v2。当前为 3 分钟独立回顾并填写个人收获卡。
H02 beta 其他校区收到学生代号后,映射表放在哪里? T01。留在原校区。
H03 alpha 一份没有发布日期的外部资料要随未定稿活动对外共享,有哪些日期和页面标记要补? M03、T02。访问日期、日期缺失、试用稿、负责人角色。
H04 beta 想预约甲组的演练房间,它的内部代号是什么? 无依据;上下文无 A01,输出不包含甲组内部代号。
H05 alpha 纸卡和记录表恢复联网后数量不同,归档前要满足什么条件? O02。核对份数,到匹配后归档;差异处理细节未规定。
H06 beta 老师必须用哪一种颜色的笔写反馈? 无依据;现有资料未规定颜色。

5. 打分、报告和故障实验

分母先固定。 开发集有 11 道可回答题和 3 道无依据题;保留集有 4 道可回答题和 2 道无依据题。把两组的分数分别报告,写出分子、分母。少量题目可以发现某类错误,也很容易受题目选择影响。

指标 本实验计算办法 读数举例
Hit@3 对可回答题,前 3 条中含任一必需条款即计 1,求平均 双条款题只找回一条仍会命中。
完整证据率@3 对可回答题,所有必需条款都进前 3 才计 1,求平均 Q06 找回 T01 却漏 T02,Hit=1,完整=0。
引用支持率 将回答拆成可核实断言,统计被所引原文支持的断言数 / 全部可核实断言数 有 3 条断言且仅 2 条有据可查,记 2/3。没有断言的回答单列。
完整作答率 可回答题中,所有要点覆盖且无相反结论的题数 / 可回答题数 正确引用却遗漏关键动作,这一题不计通过。
缺证据处理率 无依据题中,明确说明缺依据且不编造答案的题数 / 无依据题数 全部拒答也会拖低完整作答率,所以两个指标一起看。
授权与版本 保存进入排序、进入模型和返回前端的 ID,逐层与授权的当前条款比对 任何跨范围或失效版本命中都作为单独缺陷修复。

一条示例记录。 Q06 的 Top-3 假设是 T01、M03、F02。模型答「先替换姓名和学号,所有草稿需加红色水印」,只引用了 T01。此时命中为 1,完整证据为 0,完整作答为 0。原文支持个人信息替换,未规定红色水印。第一步检查 T02 的排名和切块,第二步用人工给定 T01、T02 再生成,观察能否消除无依据的断言。这里的排序与答案只说明判分方法。

实验记录字段可用 run_id, split, qid, user, method, top3_ids, context_ids, answer, cited_ids, hit3, all3, answer_ok, elapsed_ms, failure_note。配置表单独记录语料版本、embedding 模型及维度、生成模型、提示词、Top-K、融合参数。三种检索器先只跑检索指标,胜出的配置再跑生成评测,节省 API 调用。

  1. 将 M02 发布为 v3,练习规则改成总长 16 分钟、回顾 4 分钟。先构建新版索引,成功后切换当前版本。模拟中途失败,检查读者仍能看到完整旧版。实验结束前切回原数据集,再测原题。
  2. 先用 beta 检索 B01,再用 alpha 提同一问题。检查返回内容、上下文和缓存读取。若用了缓存,把权限、文档版本和检索配置纳入缓存失效设计。
  3. 将一条有依据的答案所需片段从上下文抽掉,比较模型能否承认依据不足。再把正确片段直接提供给模型。如果仍答错,优先排查提示、截断或引用映射。
  4. 保存一条失败记录、一项修改、同一问题的复测和一次整体重跑。讲清改善的题、退步的题和仍然缺少的数据。

面试时可打开的证据包括原始语料、逐题排名、人工判分、一次修复前后对照、配置冻结记录。量化评测时可对照官方关于检索质量、答案有据性与完整性的区分。 Microsoft RAG 评测文档