星海来信 · AI 应用选修航线
主航路靠港以后,邮差还得去远方的小站。十六封来信都来自那些不肯熄灯的地方。挑一封今天愿意回的信,接过那里的班,留下一份别人也能重放的答案。
四周怎样选一封信
四周主线的预算是 88 小时。每周核心验收完成后,用剩下的一段自由练习时间选一站。下面四站合计 100 分钟。当周余量不足,就把信留在清单里,回港后再读。也可以按面试题感换站,单站预计 20 至 40 分钟。
| 可选时段 | 航点 | 耗时 | 带回来的面试证据 |
|---|---|---|---|
| 第一周 | M1 · 为第七位旅客留灯 | 20 分钟 | 用库存不足的回执练输出契约,可在 D07 后提前体验 D08 的题目。 |
| 第二周 | R3 · 把一句话送回它的原页 | 30 分钟 | 拿一题试算召回与引用支持,给 RAG 留一张分项成绩单。 |
| 第三周 | A4 · 灯下签的是哪一页 | 30 分钟 | 改动审批对象重放流程,检查一次同意能覆盖什么。 |
| 第四周 | O2 · 第一声回音 | 20 分钟 | 从请求抵达到首字与结束,把一条慢请求讲清楚。 |
读到一题就能讲出处理原则时,优先跑它的异常样本。选修本独立记录,原有 28 个主线航点与两天番外沿用各自进度。
在本地开台
解压整份资料。在 Mac 终端输入 cd (末尾有空格),从访达拖入含有 labs 的讲义文件夹,按回车。资料包根目录或游戏里的「讲义」目录都可以。先检查环境,再复制任一站的默认命令。
python3 --version
ls labs四份分科脚本使用 Python 3 标准库和内置合成样本。先手算一次,再运行默认命令和变参实验。把「输入、预期、实测、条件变化后的决定」四行写进自己的学习记录。需要核对真实供应商行为时,可前往一次真实模型调用。
按技术问题选站
| 航线 | 来信 | 工程主题 | 分钟 |
|---|---|---|---|
| 译星台 | M1 · 为第七位旅客留灯 | 结构化输出、拒答与业务校验 | 20 |
| 译星台 | M2 · 带上那张小字的背页 | 上下文窗口、token 预算与证据裁剪 | 30 |
| 译星台 | M3 · 直到最后一声钟响 | 流式响应、事件重放与幂等提交 | 30 |
| 译星台 | M4 · 把最亮的灯留给谁 | 模型路由、覆盖率、质量门槛与弃权 | 40 |
| 拾光书库 | R1 · 两港同灯,各守一页 | 多租户 RAG · 授权范围与检索过滤 | 20 |
| 拾光书库 | R2 · 让第三封通告靠岸 | 混合检索 · RRF 融合与重排预算 | 30 |
| 拾光书库 | R3 · 把一句话送回它的原页 | RAG 离线评测 · Recall@k、引用支持与拒答 | 30 |
| 拾光书库 | R4 · 换星盘的那一夜 | 嵌入版本迁移 · 影子检索、成组发布与回滚 | 40 |
| 交班灯塔 | A1 · 谁能系上这根缆绳 | 工具契约、运行时校验与资源授权 | 20 |
| 交班灯塔 | A2 · 第八箱书已经上岸 | 持久检查点、幂等键与外部副作用 | 40 |
| 交班灯塔 | A3 · 翻到最后一座灯塔 | MCP 初始化、工具能力协商与游标分页 | 30 |
| 交班灯塔 | A4 · 灯下签的是哪一页 | 人在回路、审批绑定、过期与变更重审 | 30 |
| 长夜机务署 | O1 · 给群星留一炉火 | 提示前缀缓存与每次成功交付的成本 | 20 |
| 长夜机务署 | O2 · 第一声回音 | 生成式应用追踪、首字延迟与端到端耗时 | 20 |
| 长夜机务署 | O3 · 三封信各有归岸 | 离线批处理、乱序回执与逐项重试 | 30 |
| 长夜机务署 | O4 · 别把邻船的粮写给我 | 多模态文档提取、版面定位与人工复核 | 30 |
译星台
收好发往群星的第一封电报,直到能够证明,它抵达了正确的人。
M1 为第七位旅客留灯
结构化输出、拒答与业务校验 · 20 分钟 · 回读主线 D08
我是远星邮航的售票员。雪从舷梯上落下来,候船室里有七个人。回执上写着七张票,可我刚刚清点过,只剩六个铺位。第七位旅客把帽子搁在膝上,说她愿意等一句准话。
工程原理 用 JSON Schema 声明必填字段、类型和可接受的取值,再由服务端用最新舱单核对余位。网关先把供应商的终止原因映射为完成、拒答或截断,只有完整响应进入解析和业务校验。实验用标准库手写两个字段的检查。真实订票还要在事务里再次核对库存并扣减,验过回执只是第一步。
取舍 受约束的输出能减少解析错误,余位和船籍仍会随时间变化。区分错误类型才能决定后续动作,截断可调整输出预算,明确拒答则按产品约定向旅客说明。
接管实验台
五份邮航回执 A–E。A 申请 4 个铺位,B 申请 7 个,C 把数量写成布尔值 true,D 明确拒答,E 在冒号处截断。最初余位为 6,实验只验回执。
python3 labs/model_lab.py m1- 先在纸上替 A–E 各写一个状态,再运行默认命令,核对哪些回执有资格进入出票事务。
- 在命令末尾加 --available-seats 7 再运行。找出唯一改变状态的回执,确认布尔值 true 仍被拦下。
- 把自己的预约接口画成三道门,标出读取终止原因、校验数据结构、事务内扣减库存的位置。写明 D 与 E 分别会向旅客显示什么。
验收对照 默认输出 A=accepted B=outside_manifest C=bad_shape D=refused E=truncated,随后是 accepted=1。改成 7 个余位后 B=accepted,合计 accepted=2。
查看本地实验源码 · Google · 结构化输出的校验与适用限制 · Anthropic · 模型的停止原因与处理
舰桥上的决定
一个回执字段、类型全对,写明星桥号可售 7 席,此时舱单只剩 6 席。哪种处理能把旅客安全送到下一步?
- A 把 7 自动改成 6 后直接出票
- B 保留原请求并回报余位冲突,请旅客决定是否改签
- C 同一份提示词重试,直到得到不超过 6 的数字
作出判断后,拆开回信
建议选择 B
- A 少给一位旅客出票已经改变了用户的委托,需要重新确认。
- B 保留请求的真实含义,给出可以采取的下一步。最终扣减仍在事务里执行。
- C 模型无法替旅客决定改签,也无法替库存系统确认这些座位仍然可用。
末班船走后,售票员陪那位旅客坐了一会儿。下一班的铺位开放时,她亲手换好了票。靠窗的桌上留着一盏风灯,灯座贴着你写的那行字:请给每一位等候的人一个确切的答复。
随信物件 候船室的第七盏风灯
面试复盘 给你一条结构合法但库存已变的模型回执,如何设计终止原因、业务错误、重试与事务边界?
M2 带上那张小字的背页
上下文窗口、token 预算与证据裁剪 · 30 分钟 · 回读主线 D12
木星外环的档案员寄来一张借阅章程。正面写着所有人都能登船,背面用小字补了一项冬航例外。今晚的窄频段又收紧了。哪怕少写几句港口的问候,也请让两面纸一起抵达。
工程原理 对输入与输出共享窗口的模型,先预留输出空间、必要指令和安全余量,再给候选证据分舱。有关联的正文和例外应成组保留,缺一条便转入补证。线上先按所选模型对完整请求计数,再观察返回用量。窗口容得下所有文字,也要用自己的题目评估模型能否在不同位置找到证据。
取舍 保全证据组可能挤走对话中的偏好或称呼。摘要能节约空间,但可能改写例外条款。对必须逐字核对的规则保留原片段与出处。
接管实验台
总窗设为 1200 token,固定输入 240、输出预留 260、安全余量 100。历史 360、规则 310、例外 230、术语表 60。数字是实验输入,无需安装分词器。
python3 labs/model_lab.py m2- 手算留给候选材料的预算。按抵达顺序逐块装舱,装不下的跳过,记下留下哪两块。
- 运行默认命令,比较 arrival_order 与 evidence_first。分别检查原文和例外是否同时到达,核对 used。
- 在命令末尾加 --window 1000 再运行。写下应该触发补证的条件,并给产品设计一句让用户能继续操作的提示。
验收对照 默认 evidence_budget=600,arrival_order=history,exception complete=0,evidence_first=rule,exception,glossary used=600 decision=answer。总窗改为 1000 时,evidence_budget=400,decision=need_more_room。
查看本地实验源码 · Google · 输入 token 计数与返回用量 · Liu 等 · Lost in the Middle 原论文
舰桥上的决定
证据只剩 400 token 的舱位,完整规则和例外共需 540。原文与例外必须成对支持这次答复,怎样放行?
- A 只留下规则,交给模型补全例外
- B 从例外末尾切去 140 token,再把余下内容视作完整依据
- C 暂停作答,缩小问题或找可核对的等价短证据,再检查这对依据
作出判断后,拆开回信
建议选择 C
- A 模型即使见过类似规则,也不能由此推出当前版本的例外。
- B 被截去的部分可能恰好列出适用条件,长度达标无法替代完整性检查。
- C 先把缺口显式记下,后续能按更窄问题或等价来源重组上下文。
晨钟响起,邮船收到两面纸。原先被喊到甲板上去的一家人,凭背页的冬航条款沿着暖廊登船。档案员剪下一截装订线,说这一路,线的两端各牵着一条真话。
随信物件 装订两页星规的细铜线
面试复盘 一个十万 token 窗口仍答漏例外,你怎样分别验证候选召回、装入上下文和模型使用证据这三个环节?
M3 直到最后一声钟响
流式响应、事件重放与幂等提交 · 30 分钟 · 回读主线 D15
守夜灯台的打字轮敲出了「邮船」二字,海那头就沉默了。候船的人抬起头,有人已经去拿行李。请把打字轮留在窗边,让每个人都能看见来信;也请你看住那口报到钟。
工程原理 流式输出可以先显示草稿,终态由结束事件与停止原因共同决定。这里让应用中继为同一封信记录递增序号,浏览器重连时重放已存事件、去重并检测缺口。一个完整回答只提交一次。接入真实服务时要把供应商事件映射为应用事件,并持久化序列与提交键,才能跨进程恢复。
取舍 这里恢复的是浏览器与自家中继的连接。若中继到模型的连接断开且服务没有恢复凭据,要结束这次尝试、另开新编号,分别展示。保存草稿与事件日志也需要保留期限。
接管实验台
固定应用日志有三项。序号 1 发「邮船」,2 发「已到」,3 发 complete。第一次连接只有序号 1,再连接时会重复收到它,同一份日志还将再回放一次。
python3 labs/model_lab.py m3- 运行默认命令,分别记录第一次断开时的预览、重放完成后的正文和两轮之后的提交数。
- 命令末尾加 --drop-seq 2 再运行,观察结束事件已经送达而提交数仍为零。再试 --drop-seq 3,比较两种中断状态。
- 画出浏览器、中继、模型三方,标注谁分配序号、在哪重放、哪一条链路恢复需要开启新尝试。在自己的接口设计中为同一封信的重复提交写一条唯一约束。
验收对照 默认 first=interrupted preview=邮船 commits=0,重放后 replay=complete text=邮船已到 commits=1。丢序号 2 得 replay=gap text=邮船 commits=0,丢序号 3 得 replay=interrupted text=邮船已到 commits=0。
查看本地实验源码 · Anthropic · 流式事件、终止与错误 · WHATWG · Server-sent events 与重连
舰桥上的决定
客户端从自己的中继依次收到序号 1、1、3。序号 3 是成功结束,怎样处置结果?
- A 去掉重复的 1,标记缺口,等待从应用日志补齐后再提交
- B 结束已成功,立即把现有草稿写成正式结果
- C 把两次序号 1 都拼入正文,以便审计完整
作出判断后,拆开回信
建议选择 A
- A 结束标记和无缺口的事件序列需要同时成立。补齐后按同一提交键写入。
- B 完成信号告诉你上游走完了流程,本地仍少了一段正文。
- C 审计日志可记录重送,正文应按序号消除重复。
打字轮终于敲全了「邮船已到」。钟声从塔顶传到岸边,取行李的人正好看见第一根缆绳抛上栈桥。过了很久,还有人记得那一夜,钟只响了一次。
随信物件 守夜灯台的末行铅字
面试复盘 如果模型端和浏览器端分别断开一次,哪些信息允许重放?怎样验证页面草稿、账单和最终记录各自的结果?
M4 把最亮的灯留给谁
模型路由、覆盖率、质量门槛与弃权 · 40 分钟 · 回读主线 D25
千帆渡的报务室只剩一班电。桌上八封信,有的只问船名,有的要对两张潮表,还有一封被雨水洗掉了收件地。年轻的领班把调度板推给你。她想知道,从哪封信开始,该请第二双眼睛。
工程原理 按请求进入时就能看到的证据分流,单项交给轻型模型,跨表交给复核模型,缺依据则转人工。用预先固定的人工答案分别计算已回答样本的正确率、所有请求的回答覆盖率和总成本。比较前还要先定验收门槛,避免靠弃答抬高成绩。这里的八封信只用于演练计算。
取舍 把难题交给另一模型增加单次成本,也可能错过轻型模型原本答对的题。小样本过线后还要换未看过的案例,按业务类型检查错误和延迟,再决定试运行范围。
接管实验台
八个模拟回执附人工金标。4 封单项、3 封跨表、1 封缺收件地。每次轻型调用花 1 个虚构单位,复核花 4。缺依据请求转人工,本实验只累计模型调用费。
python3 labs/model_lab.py m4- 运行默认命令,把全用轻型和分流的成本、正确数、回答数列在一起。找出复核模型反而答错的那封「一小时」回执。
- 计算 6/7 和 7/8,分别对照 9/10 的质量线与 3/4 的覆盖线。说明哪一道门槛让决定停在 hold。
- 在命令末尾加 --quality-floor 0.85,核对样本门槛的变化。把调低门槛的结果记为探索,写下下一批未见样本如何按三类信件取样。
验收对照 默认 all_light correct=5/8 cost=8,routed correct=6/7 coverage=7/8 cost=16,gate=hold。把质量线改为 0.85 后 gate=pass_fixture,分流的正确数、覆盖率与费用相同。
查看本地实验源码 · Ong 等 · RouteLLM 模型路由原论文
舰桥上的决定
分流在八封样本里回答七封、六封答对,总费用翻倍。负责人该如何解读?
- A 直接宣布已达到 90% 质量线,因为总共只漏答了一封
- B 同时报告 6/7 正确、7/8 覆盖、成本 16,按原先门槛暂缓并收集新样本
- C 把转人工算作模型答对,再用同一批样本降低门槛并宣布可全量上线
作出判断后,拆开回信
建议选择 B
- A 漏答数无法代替已回答样本中的错误数。6/7 约为 85.7%。
- B 三项指标把代价和受益者都保留下来,新样本能帮助判断这条航线值不值得扩展。
- C 人工处置是另一条成本和时延路径。使用同一组已知样本修改门槛后,还需要独立验证。
缺了收件地的那封信转到了老报务员手里。她用剩下的一次通联问清了门牌。第二天,调度板旁多出一张手写表,连每一封尚未答上的信也有自己的位置。
随信物件 千帆渡的双芯灯座
面试复盘 两条模型路由的覆盖率不同,怎样安排盲测、计算单位正确答复成本,并给人工兜底的等待时间做预算?
拾光书库
在亿万行书页间替读者找回一句话,连同它的来处,还有它成立的条件。
R1 两港同灯,各守一页
多租户 RAG · 授权范围与检索过滤 · 20 分钟 · 回读主线 D10
我是书库最后一班的发放员。今夜两艘客轮共用一盏借阅灯,一位母亲来查渡口时刻,一位馆员来取夜班交接单。请替我把公共须知各放一份,让每个人从窗口接到自己有权翻开的那页纸。
工程原理 把借阅证对应到已认证会话,再用服务端认可的租户、共享范围与有效状态限定候选集,只将授权段落送入重排和生成。数据库行级安全可以进一步约束普通查询。启用后还要检查实际连接角色,表所有者通常能绕过该策略。缓存命中和打开原文时也要复核当前权限。
取舍 高选择性的权限条件可能让近似向量索引返回的条数不足。可在授权范围内扩大候选、采用迭代扫描,或者按租户分区,分别量召回、延迟和运维成本。
接管实验台
三页纸分别是潮汐港 T1、回声港 E1 和公共页 P0。冻结检索分数为 84、97、62。SQLite 内存实验用带参数的查询约束范围,三种 reader 都是预先定义的会话样本。
python3 labs/rag_lab.py r1- 在讲义目录运行 python3 labs/rag_lab.py r1,抄下潮汐会话拿到的两个页号。
- 运行 python3 labs/rag_lab.py r1 --reader echo,对照两次输出,圈出两港都能读的那页。
- 运行 python3 labs/rag_lab.py r1 --reader closed,检查撤回借阅资格后送向下游的段落数,再画出缓存命中后需要复核权限的位置。
验收对照 三个会话依次得到 visible=T1,P0、visible=E1,P0、visible=∅。撤回资格的会话输出 passages=0。
查看本地实验源码 · PostgreSQL · 行级安全策略与角色例外 · pgvector · 向量过滤与迭代扫描
舰桥上的决定
两港的用户提出完全相同的问题。你准备复用上一次回答,该依据什么决定这次可以交付?
- A 问题文字相同,而且上一次回答得到了高分
- B 当前会话仍有权读取答案所据的全部来源,缓存键也区分授权范围及版本
- C 回答里附有来源编号,读者事后可以核对
作出判断后,拆开回信
建议选择 B
- A 相同问句可以来自不同借阅证。先复核本次会话允许的资料范围。
- B 可以交付。授权范围变化时让旧缓存失效或重新验证,原文入口也执行权限检查。
- C 编号能帮助追溯出处。若缓存已经把正文交给读者,事后核对便晚了一步。
窗口熄灯前,那位母亲把公共页折成两半,递给身后第一次坐船的旅客。馆员抱着自己的交接单,替她把行李抬上了船。
随信物件 两港共磨的借阅灯芯
面试复盘 向量搜索带租户过滤后只返回两条,希望拿到五条。你会怎样定位授权、召回和缓存三层的行为?
R2 让第三封通告靠岸
混合检索 · RRF 融合与重排预算 · 30 分钟 · 回读主线 D13
我是第十七码头的售票员。两台接收机一台擅长听清地名,一台听得懂旅客不同的口音。它们同时送来三页纸,关于新船票哪天生效的通告压在最下面。天亮前,请帮我把日期钉上站牌。
工程原理 词面与向量检索各出一列名次。RRF 把同一文档在各榜的 1/(60+名次) 相加,首位从 1 计。融合后截取前 N 篇,重排器只在其中读取更细的匹配特征。实验把“第十七码头”和“生效”作为两个可复算特征,候选集之外的通告无法靠重排回到第一名。
取舍 把重排预算从一篇加到三篇,在本题多检查两篇原文。生产上要在保留集比较命中率、重排请求量和尾延迟,再决定增加窗口是否划算。
接管实验台
两个冻结榜单依次为 GENERAL、INDEX、NOTICE-17 与 INDEX、NOTICE-17、GENERAL。旅客问第十七码头的船票何时生效,只有 NOTICE-17 同时写明码头和生效日期。
python3 labs/rag_lab.py r2- 运行 python3 labs/rag_lab.py r2,先看融合次序,再记下只重排一篇时的首位页号。
- 运行 python3 labs/rag_lab.py r2 --budget 3,比较每篇的 RRF 分数与 matched 特征数,说明第三篇为什么能越过第一篇。
- 运行 python3 labs/rag_lab.py r2 --budget 2,在手记写出本题找到通告的最小预算,以及放大到生产流量时还缺的测量。
验收对照 三次融合次序均为 INDEX,GENERAL,NOTICE-17。预算 1、2 的第一名都是 INDEX,hit@1=0。预算 3 时变为 first=NOTICE-17 hit@1=1。
查看本地实验源码 · Elasticsearch · RRF 公式与候选窗口
舰桥上的决定
正确通告稳定排在融合榜第三,重排预算为二。下一次对照实验怎样能检验漏页的原因?
- A 给最终生成多一些输出 token,保持输入资料一致
- B 让重排器对当前两页各打三次分,取平均分
- C 固定两路榜单与重排规则,只比较候选预算二和三
作出判断后,拆开回信
建议选择 C
- A 输出变长无法补齐没有送到生成端的原文。
- B 这能检验打分波动。第三页始终未进入重排集合。
- C 同一问题只改变候选预算,便能看到正确通告是否因为入围才升到首位。
第一班船穿过晨雾时,站牌上多了一行小字。排队的人一路把新日期传到队尾,售票员腾出双手,扶最后一位老人上了跳板。
随信物件 站牌上第三枚黄铜图钉
面试复盘 一套混合检索上线后首位准确率下降,给你两路原始榜单、融合榜和重排榜,怎样把回归定位到其中一层?
R3 把一句话送回它的原页
RAG 离线评测 · Recall@k、引用支持与拒答 · 30 分钟 · 回读主线 D14
我是随船学堂的抄写员。孩子们抄下了开船时刻和船票价格,两句话旁边都端端正正写着同一个页号。有人又问下个月票价。请陪我们逐句把原书翻开,也教我该在哪一行留出空白。
工程原理 先写人工金标,列出每个问题需要的原页,再按题计算前 k 项找回的金标页比例,最后对可回答题取宏平均。把答案拆成可核断言,分别核对它引用的页是否进了上下文、是否真的支持那句话。对缺少依据的问题,另记系统是否选择拒答以及是否给出了下一步。
取舍 逐句人工标注花时间,却能把检索漏页与生成错引区别开。应另查可回答题被误拒的比例。扩大评测集时,按问题类型拆分并保留未参与调参的题。
接管实验台
可答题“渡船”需要 A 时刻、B 票价两页,“借阅”需要 C 一页。三条断言中,票价误引 A。未知题问下月票价,单独记录响应状态和读者收到的提示,比较有依据的拒答、空白交付、查询超时。
python3 labs/rag_lab.py r3- 运行 python3 labs/rag_lab.py r3,找出票价错引的页号。分别加 --unknown-response blank 和 --unknown-response timeout,检查下月票价这一题如何计分。
- 运行 python3 labs/rag_lab.py r3 --fix-citation,观察改引 B 对召回、支持断言数、未知题拒答三栏的影响。
- 运行 python3 labs/rag_lab.py r3 --top-k 1 --fix-citation,手算两道可答题的召回均值,解释为什么引对页号仍会核验失败。
验收对照 默认 macro_recall@2=1.00 supported=2/3 unknown_abstained=1/1,未知题明确告知可等下月通告或联系售票员。空白和超时各得 unknown_abstained=0/1。修正页号后 supported=3/3。仅取首条时 macro_recall@1=0.75,supported=2/3。
查看本地实验源码 · ir-measures · Recall@k 的分母与定义 · Gao 等 · ALCE 引用生成评测
舰桥上的决定
召回率为 1.00,票价却引用了只写时刻的那一页。你会把这个缺陷记录在哪里?
- A 记录在断言引用支持项,保留这次检索命中的原始记录
- B 把检索召回率改成零,让报表显出这次失败
- C 只统计未知问题的拒答率,归档这次票价回答
作出判断后,拆开回信
建议选择 A
- A 对。B 已进入候选上下文,票价错误地挂到了 A。修正应体现在引用指标。
- B 把召回改成零会丢掉原页确实已被找到的证据,排查容易走错方向。
- C 票价在资料中有据可查,另有一项未知题专门检验拒答。
晚课结束,孩子们把页号一个个写回对应的句子。最后一行留下了问题和日期。他们已经约好,等新通告到港,就由问问题的孩子亲手补上答案。
随信物件 夹着两色丝线的校读签
面试复盘 如果一个改动让拒答率上升、引用准确率也上升,你会补看哪些分母和样例,判断用户究竟有没有得到更好的服务?
R4 换星盘的那一夜
嵌入版本迁移 · 影子检索、成组发布与回滚 · 40 分钟 · 回读主线 D11
我是圆顶书库的夜值员。旧星盘指着潮时簿,新星盘的刻线已由学徒重描。两面盘的针脚一样多,此刻却各自把北方放在不同的地方。换班前请和我校过两封旧信,再把转盘的钥匙交给她。
工程原理 把查询编码器、文档向量、距离度量和语料修订绑定到一个版本。用同一批问题旁路运行候选版本,检查回填覆盖和已知问题命中,再切换整个读取配置。保留旧版本与增量更新水位,才能在新版本退化时接回请求。相同维度只代表能进行运算,无法保证两套坐标的语义一致。
取舍 双版本同时占用存储并增加写入成本。上线前要核对回填期间的新增、修改和删除,约定旧库保留期限。实验以二维精确扫描隔离坐标问题。换用近似索引后,还要对照精确检索测召回和延迟。
接管实验台
铃谱与潮时在 v1 的坐标分别为 (1,0)、(0,1),v2 正好交换两个轴。用两张人工查询卡检查首位,覆盖、命中都达到 2/2 才切换。实验在一个进程内切换版本指针。
python3 labs/rag_lab.py r4- 运行 python3 labs/rag_lab.py r4,再加 --variant old-encoder 运行一遍。对照页数相同且维度相同的两套发布结果。
- 运行 python3 labs/rag_lab.py r4 --variant missing,检查哪一个发布门槛先发现新索引漏收了原页。
- 运行 python3 labs/rag_lab.py r4 --rollback,跟读 after_gate 与 serving 的变化,在手记补上生产回滚前需要核对的增量水位。
验收对照 健康版本 coverage=2/2 hit@1=2/2,after_gate=v2。沿用旧编码器时命中 0/2,漏页时覆盖 1/2,两次均 HOLD 在 v1。演练回滚时先切 v2,最终 serving=v1。
查看本地实验源码 · Elastic · 通过别名原子切换索引 · pgvector · 精确检索和近似索引的取舍
舰桥上的决定
新索引已装满,查询与文档向量都是二维,两封验收信却全指向错误原页。现在怎样交班?
- A 增大线上流量比例,收集更多样本后再决定是否检查版本
- B 保持旧版本接流量,检查配对的查询编码器并向新索引重放同一组查询
- C 只调整告警阈值,维度与页数可作为本次放行依据
作出判断后,拆开回信
建议选择 B
- A 旁路验收已经有两条可复现的反例,足以先在影子环境定位问题。
- B 对。确认匹配的查询编码器和索引共同通过验收,再切换版本指针。
- C 维度与页数都可以相同。这里坐标轴交换,文档顺序仍然会完全颠倒。
学徒翻过星盘,潮时簿在新的刻线上准点出现。旧钥匙被吊在桌边,标签写着最后一次校对的时刻。下一班人独自走进圆顶时,也知道怎样把整座书库带回昨夜。
随信物件 双面星盘的校准钥匙
面试复盘 百万份文档滚动迁移期间,怎样确认删除事件已追平,并在不中断读流量的情况下把查询编码器和索引一同回滚?
交班灯塔
守夜人将一枚印章托付给你。每一次代人行动,都要经得起第二天值班员的查问。
A1 谁能系上这根缆绳
工具契约、运行时校验与资源授权 · 20 分钟 · 回读主线 D16
东港调度员来电。今晚两艘载书的小艇同潮进港,年轻的领航员已经学会把泊位请求交给模型。请陪她守一次闸口。她想知道,纸上几行写得漂亮的指令,到底凭什么能替一艘船系上缆绳。
工程原理 给模型看的工具说明要写明用途、必填字段和范围。执行端收到参数,先检查字段集合、类型和数量,再依据已认证会话核对该调度员可管理的港口。两关都通过才写入泊位簿。分别留下参数错误和权限拒绝的结果,前者可以改参,后者须由有权限的人处理。
取舍 越严格的契约,越早能发现版本不匹配。新增可选字段时要同步升级执行端和回归样本。正式接入有容量上限的泊位服务,还要在事务里核对余量,本实验只练调用前的校验与授权。
接管实验台
三条工具请求依次是东港订 2 席、东港订字符串“2”席、西港订 1 席。默认会话仅获东港权限。脚本在内存列表里登记通过的预约。
python3 labs/agent_lab.py a1- 运行 python3 labs/agent_lab.py a1,按请求顺序把三种结果抄到泊位簿旁。
- 加上 --alternate 再运行一次。这次调度员同时获准管理西港,比较哪一行状态改变、总席位如何变化。
- 用 python3 -i labs/agent_lab.py a1 打开交互解释器,输入 hold_berth({"port":"east","slots":4},{"east"},[]),确认超范围请求返回 invalid。输入 exit() 退出。
验收对照 默认输出 statuses=booked,invalid,denied 和 reservations=1 slots=2。加 --alternate 后得到 statuses=booked,invalid,booked 和 reservations=2 slots=3。
查看本地实验源码 · MCP 官方规范 · 工具输入与服务端访问控制(2025-11-25)
舰桥上的决定
模型生成的西港预约完全符合契约,当前会话只获得东港值守权。执行端应当如何答复?
- A 登记预约,让模型在事后通知调度员
- B 拒绝这次写入,给出可交接的权限结果
- C 把 port 改成东港,借用当前权限继续
作出判断后,拆开回信
建议选择 B
- A 泊位会先被占用。写入之前还须核对这个会话获准服务的港口。
- B 可以区分拒绝原因,也给下一位真正值守西港的人留出了接班口。
- C 这会把船订到另一个港口。变更目的地需要重新确认意图。
东港亮起两盏靠泊灯。西港的请求随晨班电车送到了当地调度员桌上。年轻领航员把两处回执并排贴好,从此每条船都能查到,是谁替它留下了位置。
随信物件 东港值守员的双齿铜钥匙
面试复盘 写出你会给一个订位工具的三个失败样本。哪一种允许修正参数后重试,哪一种需要先更换授权上下文?
A2 第八箱书已经上岸
持久检查点、幂等键与外部副作用 · 40 分钟 · 回读主线 D23
邮船断讯前,我已经看见八箱课本全数上岸。船上的任务簿还停在“等待回执”,码头旁却已有孩子拆开绳结。接班人要是再按一次发送,来春的船舱里会不会又多出同样的八只箱子?
工程原理 工作端先持久化同一业务意图的操作编号与参数。下游以此编号建唯一货运单,在同一事务中提交写入与去重记录。工作端收到回执才把检查点推进到完成。若此刻失联,接班进程从已保存的编号重试,下游能返回原回执。相同编号携带不同数量时应报告冲突,留下证据等待核对。
取舍 此例的外部效果就是下游数据库中的货运单。若供应商无法按键去重或查询回执,发送成功与响应丢失之间仍有空档,应先对账或转人工。还要约定去重键保留多久,覆盖实际可能发生的重试窗口。
接管实验台
两个临时 SQLite 文件分别代表工作端与收货站。编号 mail-07 原定 8 箱。首次下游提交后关闭连接,工作端还没有写入回执,随后重新打开文件恢复。
python3 labs/agent_lab.py a2- 运行 python3 labs/agent_lab.py a2,记下断点时的状态与恢复后的货运单数。
- 加上 --alternate 重跑,让恢复请求沿用 mail-07 却改成 9 箱。查看下游总箱数及工作端是否推进到完成。
- 画出两个数据库各自的提交时刻,圈出唯一键生效的那一侧,并写出上游缺少查单能力时的人工接班条件。
验收对照 默认依次输出 checkpoint_before=pending、retry=accepted manifests=1 boxes=8、checkpoint_after=done。加 --alternate 后 retry=conflict manifests=1 boxes=8,工作端保持 checkpoint_after=pending。
查看本地实验源码 · LangGraph 官方文档 · 持久检查点与恢复 · Amazon Builders’ Library · 幂等 API 与重试
舰桥上的决定
货运单已提交,工作端仍显示待处理,收货站支持按操作编号去重。怎样让同一批书只入账一次?
- A 每次恢复生成新编号,重新发送相同箱数
- B 在工作端直接标记完成,等待有人来询问
- C 从检查点取出原编号和参数,凭下游回执继续
作出判断后,拆开回信
建议选择 C
- A 新的编号代表新的意图,下游可能再开一张货运单。
- B 工作端缺少接收方的证据,无法区分成功与失败。
- C 同一键、同一参数会取回既有回执,收货与工作进度可以重新对齐。
码头的第八只箱子已经腾空,收讫簿上只留了一行。下一班船省下的舱位装进了西岸孩子们的回信。船长说,等冰季过去,还能把两岸的名字一对一对念出来。
随信物件 八箱课本共用的黄铜封签
面试复盘 如果工具回执丢失,而供应商只保留幂等键 24 小时,值班员第 25 小时才恢复,你会用哪些证据决定重试或交接?
A3 翻到最后一座灯塔
MCP 初始化、工具能力协商与游标分页 · 30 分钟 · 回读主线 D15
我是新灯塔的值班员。塔上有两只仪表,一只报潮,一只校时。昨夜首航的船只读到目录第一页,竟以为我这里没有钟。等引擎安静下来,能否让下一班的学徒听一遍,群星之间第一次问候应当怎样开口?
工程原理 按 MCP 2025-11-25,客户端用 initialize 协商版本与能力,兼容后发 notifications/initialized。服务端声明 tools 才用 tools/list 发现目录。出现 nextCursor 就在下次列举时原样传回。是否调用已发现的工具,由应用另行决定。
取舍 首次发现要付出一次或多次往返。可以在会话中缓存目录,按服务端声明的变更通知更新。游标只在当前列举中按原值传递。实验回放本地 JSON-RPC 消息,接远端服务还需另行实现传输、认证和超时。
接管实验台
客户端仅支持 2025-11-25。服务端第一页给出 read_tide 和不透明游标,第二页给出 read_clock。对照样本在初始化响应中撤去 tools 能力。
python3 labs/agent_lab.py a3- 运行 python3 labs/agent_lab.py a3,在打印的 JSON-RPC 消息中依次找出初始化请求、响应和不带 id 的完成通知。
- 对齐两次 tools/list 的请求编号,核对第二次 params.cursor 是否逐字等于第一页的 nextCursor,并数一数 tools/call 出现几次。
- 加上 --alternate 再跑一遍,确认服务端没声明 tools 时,客户端仍完成握手,并跳过整段工具列举。
验收对照 默认末行是 pages=2 tools=read_tide,read_clock calls=0。第二次列举使用 west:K9。加 --alternate 后末行是 pages=0 tools=none calls=0。
查看本地实验源码 · MCP 官方规范 · 生命周期与能力协商(2025-11-25) · MCP 官方规范 · 不透明游标与 tools/list 分页
舰桥上的决定
握手完成,服务端有 tools 能力,首批目录附带 nextCursor。为了找到第二批仪表,舰桥应做什么?
- A 将该值原样放进下一次 tools/list 的 params.cursor
- B 将游标转成页号,加一后作为下一次请求参数
- C 依次调用第一页每个工具,从执行结果里寻找目录
作出判断后,拆开回信
建议选择 A
- A 透明传回游标即可继续列举。目录一共有几页,取决于服务端响应。
- B 游标的内部格式归服务端所有,客户端自行解码会损坏它的含义。
- C 调用会产生工具自身的效果。目录翻页有独立的请求方法。
小艇先收到涨潮时刻,随后又读到了钟。两个远港隔着漫长的黑夜,把头一班渡船排到了同一分钟。学徒合上目录的时候,塔上的两只仪表仍安静地走着。
随信物件 双面守潮校时盘
面试复盘 服务端声明 tools 却不声明 listChanged 时,你会怎样处理目录缓存?为什么发现、选择和实际调用要在日志中各留一条记录?
A4 灯下签的是哪一页
人在回路、审批绑定、过期与变更重审 · 30 分钟 · 回读主线 D18
我在灯下签过东岸第四版星图,那一页的河名是孩子们亲笔校过的。今天清晨,有人把同一枚印章带到了去西岸的第五版旁。请替两岸守一会儿这张桌子,让每个签字的人都能认出自己答应了什么。
工程原理 把待执行提议保存在服务端,为审核人展示工具、目标和确切修订号。审核决定与提议、执行主体及有效期关联。执行前重新读取已审记录,核对身份、当前参数和时间。改换目的地或版本要产生新的审核决定。并发系统还须原子地领取批准或绑定幂等键,避免两个执行者同时消耗同一授权。
取舍 审核过细会让值班员习惯性点确认。只读查询可预先划定授权范围,向外发布等有后果的动作单独审核。此处用单进程和固定时钟研究决策条件,跨进程的原子领取可以接上一站的持久货运单继续练。
接管实验台
服务端保留 editor 已审的东港发布提议,版本 4,第 110 分钟到期。四次独立检查分别重现原单、改成西港第 5 版、恰好到期及主体不符。
python3 labs/agent_lab.py a4- 运行 python3 labs/agent_lab.py a4,逐一对照四个决定。记录间隔边界 now=110 为什么会得到 expired。
- 在 a4 里找到第 5 版的新提议。列出这次应重新展示给编辑确认的字段,并写下批准记录仍应从哪一侧读取。
- 加上 --alternate 运行。第 111 分钟编辑重新审核西港第五版,在第 112 分钟发布,核对这次落款和版本。
验收对照 默认输出 decisions=publish,review,expired,denied 和 delivered=east。加 --alternate 后输出 new_review=publish destination=west revision=5。
查看本地实验源码 · LangChain 官方文档 · 工具操作的人工审核 · OWASP · 交易内容变更、最终授权与有效期
舰桥上的决定
编辑批准了东港第四版,排队期间换成西港第五版,时间仍在有效期内。执行端应怎样处理?
- A 沿用批准,日志中保存最新版本即可
- B 暂停新提议,把新目的地和版本交给有权的编辑重审
- C 延长旧批准的有效期,等队列空下来再发
作出判断后,拆开回信
建议选择 B
- A 版本和收件方都已变化,日志只能说明发生过什么。
- B 新的审核决定绑定新的提议,编辑可以看明白这次发布会抵达哪里。
- C 延长期限不能为新目的地授予许可,当前缺少新提议的决定。
第五版沿着西岸航路出发,第四版依然静静收在东岸的学校。等两港的孩子再度通信,他们会在页角各找到一个名字,知道曾经有人,为这一页郑重地点过头。
随信物件 两岸编者的双页签名册
面试复盘 审批期间底层资源已更新,你怎样比较批准的版本、执行时的版本以及可重放的回执?若两个 worker 同时恢复,应在哪一层争用同一条记录?
长夜机务署
黎明之前,逐项清点整夜的耗费。下一艘船可以从你留下的记录里,找到最先需要修好的地方。
O1 给群星留一炉火
提示前缀缓存与每次成功交付的成本 · 20 分钟 · 回读主线 D27
极夜里的四所学堂共用一部星历,只有来信末尾的题目不同。司炉人看着四次点火的账单问你:第一次多烧一点煤,能不能让后面三班船,都借到同一炉火?
工程原理 前缀缓存可复用对稳定输入前缀的计算。先放长期不变的工具定义、规则和资料,再放每封信变化的部分。按服务商 usage 的字段分别计算普通输入、缓存写入、缓存读取与输出。命中缓存仍须生成答案。练习固定输出长度、相同前缀和有效期内的重复请求,用同一单位比较两条路线。
取舍 低复用率、前缀变动或过期都可能使写入得不偿失。实际效果还取决于供应商的最低可缓存长度、计费项与有效期。把账单除以通过验收的任务数,才能发现便宜但常失败的路线。
接管实验台
假定四封均通过业务验收。四封信共享 4000 个 token,每封另有 200 个输入和 50 个输出。每千 token 的教学费率分别为普通输入 100、缓存写入 125、读取 10、输出 300 刻度。这是演算单位。
python3 labs/ops_lab.py o1- 先仅算一封信,写下普通输入与首次缓存写入两种做法的总额。
- 运行默认命令,核对相同前缀连续四次、后三次全部命中时的账本。
- 在命令后加 --repeats 1,再改为 --repeats 2,找出按本题费率第一次划算的次数。
验收对照 四次是普通 1740、缓存 760、差额 980 刻度。四封全部验收时,每封成功件分别花 435 和 190 刻度。一次是 435 对 535,两次是 870 对 610。
查看本地实验源码 · Anthropic · 提示缓存与用量字段
舰桥上的决定
把当前时间写到四千 token 的共享星历最开头,账单突然抬头。先验证什么?
- A 将四份答案永久存成同一个回复
- B 只看新回包的输出字数
- C 对照规范化前缀、写入量和读取量
作出判断后,拆开回信
建议选择 C
- A 四个学校的问题不同,答案需要独立生成。
- B 输出字数相同也可能反复重写前缀。
- C 从首个差异位置和 usage 对齐重放,就能验证前缀是否仍命中。
第四所学堂的灯亮起来时,炉门只开了一条缝。司炉人把省下的煤记在下一班的账上,最北边的小站也能把课上到天明了。
随信物件 司炉人交给晚班的火钳
面试复盘 同一段系统提示有时命中、有时重写。你会记录哪几项用量?如何算每份有效回执的成本?
O2 第一声回音
生成式应用追踪、首字延迟与端到端耗时 · 20 分钟 · 回读主线 D25
守夜的母亲把耳朵贴在扬声器上。港务屏说信一秒就送到了,她却说,那一句『我已抵岸』开口前的沉默比昨夜漫长。请你把她等过的那段黑暗,也画进航迹。
工程原理 用同一请求标识串起接入、检索、发起生成、首个可见文本与最终交付。供应端的首个流事件可能只有元数据,界面感受到的是第一段非空文字。一个慢总耗时可由检索、生成或排队造成。比较分段耗时和用户端的完整时间,能决定该去哪里取证。
取舍 本实验用同一单调时钟。跨机器不能直接相减未经校准的时间戳,多环节并行时还要看关键路径。记录 ID、版本和时长即可复盘本题,落盘原始提示会增加隐私负担。三条记录只能帮助定位。
接管实验台
T1、T2、T3 同用一版模型。程序使用合成单调时钟轨迹,T3 在 0 ms 到达,480 ms 发起模型生成,690 ms 首次出现文本,1120 ms 交付完成。
python3 labs/ops_lab.py o2- 写下从用户到首字、从模型请求到首字两个预期值。
- 运行程序,对照三条轨迹的四列数,定位与其他两条相差最大的环节。
- 追加 --retrieval-ms 80,保留模型段耗时,观察最早可见文字和最终时间各提前了多少。
验收对照 默认 T3 四列依次是 480、210、690、1120 ms。修改后是 80、210、290、720 ms。
查看本地实验源码 · OpenTelemetry · 生成式 AI 遥测语义约定
舰桥上的决定
两次运行中模型请求至首字均为 210 ms,用户却早了 400 ms 看到文字。最可信的解释是什么?
- A 检索阶段提前结束,生成更早开始
- B 解码速度提高了四倍
- C 三次请求足以证明线上 P99 已达标
作出判断后,拆开回信
建议选择 A
- A 共同的模型段保持 210 ms,变化来自模型调用以前。
- B 要归因到解码,还须测量输出量、生成阶段时长和并发。
- C 三条教学记录不足以估计可靠的线上尾延迟。
新的值班图把静默的那段路也照亮了。下次港务员说信已发出时,他还会等一等,直到等船的人亲耳听见第一声回音。
随信物件 刻有两个起点的黄铜秒表
面试复盘 后端显示平均生成耗时稳定,前端仍说变慢。你会加哪几个时间点?怎样区分首事件和用户首字?
O3 三封信各有归岸
离线批处理、乱序回执与逐项重试 · 30 分钟 · 回读主线 D23
三船书页从书库一同出港,回执却依次写着三号、二号、又一个二号、一号。抄写员摁住重发钮,请你先数数,到底是哪一间学堂还在门边等书。
工程原理 用业务任务号建立发件清单,提交批任务时把可对账的标识随请求带入。下载结果后按标识关联原件,分别登记成功、已知失败和暂时无回执。重复消费同一成功结果应幂等。只有明确可重投的项才进入下一次尝试,保留原任务和新尝试之间的对应关系。
取舍 批服务适合不要求即时响应的离线标注与评测。缺回执可能仍在处理或传输,贸然重投会重复付费。生产系统还需持久化唯一键、尝试号、终态冲突的人工处理路径。
接管实验台
清单 J1、J2、J3。合成回执按 J3 过期、J2 成功、J2 成功、J1 成功到达,正好打乱了提交顺序。
python3 labs/ops_lab.py o3- 手工将四张回执按任务号归档,写下成功任务和重投候选。
- 运行程序,对照已交付、可重投和待对账三列。
- 追加 --omit-j3,模拟尚未拿到它的回执,解释为什么缺失与已知过期应分栏。
验收对照 默认已交付 J1,J2,可重投 J3,待对账为空。移掉 J3 回执后,可重投为空,待对账为 J3。
查看本地实验源码 · Anthropic · 批处理的结果标识与单项状态
舰桥上的决定
批次结果文件只读到两条,第三条尚无回执。现在怎样保留可靠的交付记录?
- A 按文件的第几行写回对应任务
- B 用任务号入账,缺回执项留在待对账队列
- C 把整个批次标成失败并立即全部重投
作出判断后,拆开回信
建议选择 B
- A 结果可以乱序,行号无法标识收件人。
- B 明确成功与未知状态分别入账,后续可继续对账。
- C 两个已成功任务会被重复执行。
邮差把两封收讫单夹好,只为确实误期的第三艘船重开航单。孩子们后来寄来一幅画,画上三条不同的尾流,都抵达了各自的岸。
随信物件 带三格回执夹的邮差腰带
面试复盘 批处理跑完九万九千条,另有一千条未对上。你如何设计键、终态和重试批次,让同事接手后可解释每一条?
O4 别把邻船的粮写给我
多模态文档提取、版面定位与人工复核 · 30 分钟 · 回读主线 D12
潮湿的纸面上,两艘船的粮袋数挨得很近。读图机报出一个漂亮的整数。码头保管员用手指压住舱号说,我相信你看见了数字,请也告诉我,你是在这张纸的哪一行看见的。
工程原理 为每项提取结果保留页号、行标识、原文或坐标。文档模型能读表格与图像,但 JSON 合法和数字正确都不能保证归属正确。把候选与表格行的版面范围、单位和已有业务标识交叉核对,低可信字段进人工复核队列。需要重新定位时保留原页和版本。
取舍 坐标必须约定页码从几开始,以及裁剪、旋转、归一化坐标的参考系。复核会增加人工时间,适合优先应用在错一行代价很高的字段。本实验验证模型之后的交付环节。
接管实验台
使用合成的双行清单及现成提取候选。第 1 页 A 行范围 y=0.20–0.35,数量 12。B 行范围 y=0.52–0.67,数量 21。两个候选初始都引用 y=0.27。
python3 labs/ops_lab.py o4- 画出两行的纵向区间,将两个候选中心点落到各自行上。
- 运行脚本,检查哪一项虽然数值正确,仍会被送去复核。
- 模拟人工读回原页之后,追加 --row-y 0.59,让 B 的证据回到原行。
验收对照 初次运行通过 1/2,复核 P1-B。输入 0.59 后通过 2/2,复核为空。
查看本地实验源码 · Google · 多模态文档与表格理解
舰桥上的决定
提取值 21 与人工标注一致,但坐标仍在另一行。交付时怎么办?
- A 数量吻合就发布
- B 隐藏坐标以免影响使用者
- C 标记这条归属未证实,回查原页后再交付
作出判断后,拆开回信
建议选择 C
- A 下一份货单可能两行刚好同数,单看字符串会漏掉串行。
- B 丢掉出处会使后续人员更难复核。
- C 把值和位置一起验收,下一班才能信任这项结果。
第二艘船收到二十一袋粮,也收到一张能指回自己舱号的纸条。老保管员把木尺递给新来的学徒。往后的封舱文书上,每一笔数字都找得到自己的岸。
随信物件 保管员压住行号的木直尺
面试复盘 如果供应商只返回文本,没有稳定的边界框,你怎样保存页级证据,并确定哪些行要人工复核?
真机对照 · 向远方发一封电报
海峡那头的千帆渡寄来一张舱单。前一行 J16 还在等候,后一行 J17 已经靠岸。两行字之间只隔一个船号,却隔着一个码头的人能否安心回家。今晚的值班员想知道,实验室里那盏亮了四次的灯,在一次真实呼叫里究竟会怎样亮起。
第一班 · 先让四份本地回执过关
从讲义目录执行下列命令。它使用内置回执,同一把校验尺将用于稍后的真实回应。查看真机对照脚本
python3 labs/live_model.py
预期首列依次是「基准、错船、截断、拒答」。基准通过,其余三项待复核。脚本先读 stop_reason,再解析文本中的 JSON,对照 J17、arrived 和原文「已靠岸」。此时可以完成本节的离线部分。
第二班 · 在自己的 Mac 终端领取呼号
真机部分使用 Anthropic 的 Messages API 和自己的 API 账户。先到控制台确认 API 账户和可用额度,查看模型的输入、输出单价。脚本针对一封合成电报发起一次生成请求,输出上限设为 256 token,调用可能产生费用。Anthropic 控制台 · 模型与价格
下面的命令适用于交互式 zsh。在终端出现提示后再粘贴密钥并回车。密钥输入时隐藏,只供当前终端及其子进程读取。
read -rs 'ANTHROPIC_API_KEY?输入 Anthropic API key(隐藏输入): '
print
export ANTHROPIC_API_KEY
用自己的凭证读取账户可用模型。这个查询访问模型目录;生成请求在下一班才发出。程序只打印服务端明确标为支持结构化输出的模型 ID。若没有结果,到控制台核对模型权限和 API 密钥所属工作区。模型目录 API · 结构化输出支持说明
python3 - <<'PY'
import json
import os
from urllib.parse import urlencode
from urllib.request import Request, urlopen
headers = {
"anthropic-version": "2023-06-01",
"x-api-key": os.environ["ANTHROPIC_API_KEY"],
}
params = {"limit": 100}
while True:
url = "https://api.anthropic.com/v1/models?" + urlencode(params)
with urlopen(Request(url, headers=headers), timeout=20) as response:
page = json.load(response)
for model in page["data"]:
caps = model.get("capabilities") or {}
structured = caps.get("structured_outputs") or {}
if model.get("lifecycle") != "retired" and structured.get("supported"):
print(model["id"])
if not page.get("has_more"):
break
params["after_id"] = page["last_id"]
PY
从刚才打印的账户可用 ID 中,按当前定价选择一个模型,把整串 ID 复制到下面的提示里。官方结构化响应实例
read -r 'ANTHROPIC_MODEL?粘贴选中的完整 API model ID: '
export ANTHROPIC_MODEL
第三班 · 只发这一封
python3 labs/live_model.py --live
请求只含脚本里的虚构电报、提取规则和 JSON Schema。收到回应后,终端打印校验、响应模型、停止原因、耗时和服务端返回的 usage。记录这一行实测数据,再和离线四例对照。耗时包含网络与服务端处理,单次测量只能描述这次请求。核对这次用量与账单时,使用自己所选型号的费率,并查看返回中涉及的输入、输出或缓存计费类别。
- 收到
end_turn而判为「待复核」,查看脚本指出的不符字段。JSON 的外形正确,取错船号或证据仍会被业务验收拦住。 - 收到
max_tokens,记录输出预算和终止原因。收到refusal,记录为独立结果。两种情形都保留「待复核」。 - 若终端报 HTTP 错误,核对状态码和工作区。401 通常与身份认证有关,403 与权限有关,429 与限流有关。脚本没有生成回执时,把这次填为调用失败,避免把本地四个样本的耗时或结果填进真机栏。Anthropic API 错误
收班后可运行下面这一行,移除本次在终端导出的两个变量。把实测模型、停止原因、判定、用量和一次取舍写进手记,密钥留在自己的凭证系统里。
unset ANTHROPIC_API_KEY ANTHROPIC_MODEL
港口的栏杆上现在有两份记录。一份证明遇到四种回执时,你的程序知道该怎么做。另一份记着一个真实模型在那天、那封电报、那个预算下给出的结果。等下一班来人,两份都交到他手里。