一句话定义
有无 skill 对比打分能验证 skill 是否真的提升稳定性和效率。
机制 / 原理
同一测试集跑两遍,比较质量、时间和返工成本。
经典实验 / 例子
本书案例:有 skill / 无 skill 对比打分要求同一批任务跑两次:一次不用技能,一次用技能,再比较质量、时间和返工成本。周报 skill 生成更快不够,如果关键数据字段仍漏,就没有真正提升质量。对比打分逼用户看到收益和短板,而不是只看“好像自动化了”。
书中案例出处
有无 skill 对比打分
核心原文线索
有无 skill 对比打分
案例现场复述
同一批任务分别用普通方式和 skill 方式完成,再比较质量、时间和返工。
为什么重要
对比能验证 skill 是否真的改进了结果。
生活中的例子
引申案例:客服分类 skill 上线前,团队拿 30 条历史投诉做对比。人工提示词版平均漏掉 8 条退款诉求,skill 版漏掉 2 条,但误把 3 条咨询归为投诉。结果说明它提高了召回,但还要修分类边界。
常见误区
误区:只看有 skill 后的单次漂亮结果。 没有无 skill 基线,就不知道提升来自哪里。用同一测试集比较质量、耗时和返工成本。