幻觉

Hallucination

模型一本正经地编出不存在的事实、引用或数据。

幻觉不是故障，而是语言模型的工作方式带来的：它生成“看起来合理”的文字，并不会自己核对真假。问冷门知识、要具体数字、要论文出处时最容易出现。

降低幻觉的办法：把资料直接给它（见检索增强生成）；要求它只根据给定材料回答；让它标注不确定的地方；关键数字自己再核一遍。

✕以为更贵、更新的模型就不会编。会少一些，但不会没有。