来源:OpenAI研究论文
OpenAI最新研究通过数学证明,大模型幻觉(虚构信息)问题源于其逐词概率预测机制及训练数据稀疏性,即使数据完美仍不可避免。现有评估体系(二元评分惩罚“不确定”回答)进一步鼓励模型盲目猜测。虽可通过置信度阈值减少幻觉(如仅回答高确信问题),但会导致30%以上查询无答案,降低用户体验。更根本的是,不确定性感知需数倍算力支撑,成本过高,目前仅在高价值领域(如医疗、金融)具经济可行性。消费级AI因用户预期、评估方式及算力经济制约,幻觉问题短期内难以彻底解决。
来源:OpenAI研究论文
OpenAI最新研究通过数学证明,大模型幻觉(虚构信息)问题源于其逐词概率预测机制及训练数据稀疏性,即使数据完美仍不可避免。现有评估体系(二元评分惩罚“不确定”回答)进一步鼓励模型盲目猜测。虽可通过置信度阈值减少幻觉(如仅回答高确信问题),但会导致30%以上查询无答案,降低用户体验。更根本的是,不确定性感知需数倍算力支撑,成本过高,目前仅在高价值领域(如医疗、金融)具经济可行性。消费级AI因用户预期、评估方式及算力经济制约,幻觉问题短期内难以彻底解决。