来源:OpenAI与佐治亚理工学院预印本论文
研究指出,即使训练数据完美,大型语言模型也因问题的不可判定性而无法全知,其产生“幻觉”(自信地给出错误答案)的根源在于训练方式。当前标准基准测试奖励自信猜测而非诚实承认不确定性。尽管技术上有望通过改进基准让AI学会说“我不知道”,但商业现实却构成悖论:过度坦诚可能导致用户流失,使公司在追求盈利与解决根本问题间陷入两难。
来源:OpenAI与佐治亚理工学院预印本论文
研究指出,即使训练数据完美,大型语言模型也因问题的不可判定性而无法全知,其产生“幻觉”(自信地给出错误答案)的根源在于训练方式。当前标准基准测试奖励自信猜测而非诚实承认不确定性。尽管技术上有望通过改进基准让AI学会说“我不知道”,但商业现实却构成悖论:过度坦诚可能导致用户流失,使公司在追求盈利与解决根本问题间陷入两难。