凭感觉的迭代不是迭代.

改一版提示词,跑两个例子,觉得「好像好了一点」,于是提交。第二天换了个例子,又觉得不如从前。这不是迭代,这是随机游走。

区别只有一个:有没有一组固定的题目,让两个版本可以在同一把尺子下比较。

二十条真实样例就够开始.

评测集不需要一开始就完美。从线上日志里挑二十条真实请求,人工写下期望的输出,就已经足够拦住大部分明显的退步。

尤其要收进去那些曾经出过错的例子。它们是你花代价买来的,不该只留在记忆里。

分数只需要可比较.

很多人卡在「怎么给自然语言输出打分」上,迟迟不开始。其实分数不必绝对准确,它只需要在两个版本之间保持一致的偏好。

哪怕只是人工快速判断「对/错/不确定」,只要每次都用同一套题、同一套标准,你就已经拥有了一条基线。有了基线,改动才第一次变得可讨论。