让模型做它擅长的事.
模型擅长把模糊的东西变具体,不擅长保证一件事一定发生。工程的边界就在这里。
扫码在手机上阅读。朗读正文内容,不包含页面工具和目录。
问 AI
复制正文和提示词,让 AI 生成摘要与要点。复制正文和提示词,让 AI 提取结构和心智模型。复制正文和提示词,让 AI 以问答方式帮助理解。
概率组件和确定组件.
模型是一个概率组件:同样的输入,它可能给出不同的输出。数据库不是,加法不是,权限校验也不是。
工程的任务是把这两类组件正确地拼在一起,而不是假装其中一类不存在。凡是业务上要求「必须如此」的地方,就不该由概率组件来负责。
不要用提示词写 if.
「如果用户没有权限,就拒绝回答」——这句话写进提示词,意味着你的权限系统有一定概率会失效。这个概率也许是千分之一,但它不为零。
正确的做法是在调用模型之前就把无权访问的数据过滤掉。模型看不到的东西,它就不可能泄露。
把不确定性装进小盒子.
理想的结构是:模型只负责一件事,比如「从这段话里抽出日期」,然后立刻交给一个严格的校验器。校验通过就继续,不通过就重试或者报错。
盒子越小,你能给它的测试就越多,出问题时也越容易定位。反过来,一个从头到尾都由模型驱动的流程,出错时你几乎无从下手。
— 讨论
GitHub评论.
评论由 GitHub Discussions 承载。请围绕文章内容交流,并保持克制、友善。
评论暂时没有加载出来。可以稍后刷新重试,或直接到 GitHub Discussions 参与讨论。