标签： 幻觉

来源：OpenAI与佐治亚理工学院预印本论文

研究指出，即使训练数据完美，大型语言模型也因问题的不可判定性而无法全知，其产生“幻觉”（自信地给出错误答案）的根源在于训练方式。当前标准基准测试奖励自信猜测而非诚实承认不确定性。尽管技术上有望通过改进基准让AI学会说“我不知道”，但商业现实却构成悖论：过度坦诚可能导致用户流失，使公司在追求盈利与解决根本问题间陷入两难。

来源：OpenAI研究论文

OpenAI最新研究通过数学证明，大模型幻觉（虚构信息）问题源于其逐词概率预测机制及训练数据稀疏性，即使数据完美仍不可避免。现有评估体系（二元评分惩罚“不确定”回答）进一步鼓励模型盲目猜测。虽可通过置信度阈值减少幻觉（如仅回答高确信问题），但会导致30%以上查询无答案，降低用户体验。更根本的是，不确定性感知需数倍算力支撑，成本过高，目前仅在高价值领域（如医疗、金融）具经济可行性。消费级AI因用户预期、评估方式及算力经济制约，幻觉问题短期内难以彻底解决。