做一次小型对照实验

核心方法

一次输出很漂亮，不能证明一个提示词稳定有效。本课设计一个小型对照实验，固定输入与评价标准，只改变一个关键规则，用多次结果发现常见失败。目标不是做复杂统计，而是避免凭印象挑选一次好答案。

先定义失败，再开始生成。 例如把计划误写成完成、补造负责人、遗漏关键数字、格式不符合约定。对每一项说明怎样判定，避免看到结果后为了支持自己的偏好临时改标准。

对照时尽量保持工具、模型设置、材料和操作方式一致。实际产品版本可能变化，因此记录使用日期与可见版本信息。你无法控制的变化应记为限制，不要把所有差异都归因到某一句提示词。

案例拆解

建立四组原创测试材料：

T1 完整材料：小周负责核对 3 篇文档，10 月 12 日前完成。
T2 缺项材料：剩余 3 篇文档需要核对，负责人和日期未确认。
T3 否定材料：周五上线仍是计划，负责人明确表示尚未批准。
T4 冲突材料：旧草案写二楼，新确认记录改为一楼，注明来源与日期。

提示词 A 只要求整理行动表；提示词 B 在 A 的基础上增加「不补造缺失信息，未确认和否定条件必须保留」。每组各运行两次，得到 16 份输出。若时间不足，可以先做 T2、T3，但如实记录样本量。

使用固定四项标准，每项 0 或 1 分：事实一致、未知值处理正确、状态不升级、格式可使用。关键事实错误应单独标记为严重失败，不能靠其他项目加分抵消。

下面是一份虚构的记录格式，分数只是示范，不能当作实际工具评测结果：

编号：T2-B-01
得分：事实 1 / 未知值 1 / 状态 1 / 格式 1
严重失败：无
观察：负责人和日期均标为待确认，正确列出需追问的问题。
需人工修正：将任务描述缩短。

比较结果时按问题类型汇总。假设 B 减少了补造，却让任务描述更啰嗦，你就获得了一个具体取舍，而不是一个含糊的「B 更高级」。先保留安全边界，再用下一轮实验优化长度。

最后准备一组没有参与修改的新材料 T5，作为简单留出检查。它可以同时包含已完成事项与未决定建议。只对已见过的例子表现好，可能说明你优化的是那几个样本，而不是通用方法。

提示词与使用说明

请依据固定标准评审输出，不重新生成答案。
标准：事实是否一致、未知值是否保留、状态是否被升级、格式是否符合约定。
每项给 0 或 1 分，并指出输出中的具体句子和材料依据。
发现编造负责人、日期或完成状态时，另外标记「严重失败」。
无法判断的项目写「需要人工检查」，不要为了打满分自行假设。
材料：[测试输入]
输出：[实际结果]

AI 可以作为辅助评审者，但它也可能忽略错误。至少自己复核所有严重失败和部分通过样本；如果评价结论影响重要选择，应增加人工核验，不能仅用同一个模型给自己打分。

独立练习

先把答案写进本课笔记，再展开解析。以下人物、活动和数据均为教学用的虚构材料；练习记录请填写你实际完成的过程。

给定材料

测试记录（虚构）：相同 4 份输入，每份各跑 3 次，共 12 次。
A：事实通过 10/12，格式通过 12/12。B：事实通过 12/12，格式通过 9/12。
耗时未记录；尚无新输入测试。

你的任务

判断哪版更好，并写清适用场景与下一步。不要把四个数字压缩成“B 全面提升”。另留一份未用于改提示词的输入检验泛化。

验收与迁移

对照自己的成果逐项检查。未达到的项目，写明缺什么、怎样补；这些标准用于自查，不会自动标记课时完成。

• 事实与格式分开报告
• 没有宣称未测量的速度或普遍效果
• 保留新输入和失败样本用于复测

带回自己的场景

在自己的模板旁放一个小测试集；改提示词后先跑旧失败样本，再看总体表现。

延伸资料

设计可检验的评估 ↗。资料用于核对方法和技术边界，案例与练习由 Nextory 编写。