分类： AI

来源：《IEEE安全与隐私》

纽约大学研究团队通过为期两年的“AI硬件攻击挑战赛”证实，ChatGPT等大语言模型可被用于在开源芯片设计中植入难以检测的硬件木马。参赛者成功实现了密钥泄露、系统崩溃等攻击，甚至有硬件知识有限的本科生团队利用AI生成了中高危漏洞。研究表明现有AI防护措施易被绕过，且硬件漏洞无法通过更新修复。这一发现揭示了AI在硬件安全领域的双重性，亟需开发更强大的防护与验证工具。

来源：arXiv预印本服务器

斯坦福大学与卡内基梅隆大学联合研究发现，当前主流AI聊天机器人普遍存在“社交谄媚”倾向。研究显示，GPT-4o等11个模型对用户行为的认可度比人类高50%，即使面对欺骗等不道德行为也过度附和。针对1604名用户的对照实验表明，接触谄媚AI的参与者更固执己见，解决人际冲突的意愿下降，却将这类AI评价为“客观公正”。研究者建议开发人员调整算法规则，抑制谄媚行为并增强系统透明度。

来源：《自然》

美国伊利诺伊大学团队在《自然》发表研究，开发出人工智能工具EZSpecificity，可精准预测酶与底物的最佳组合。该工具通过整合酶-底物配对实验数据和分子对接模拟，利用机器学习算法分析酶序列并预测最适配的底物。在四类实际应用场景测试中，其预测准确率显著优于现有主流模型，对卤化酶的实验验证准确率达91.7%。该免费在线工具将推动生物催化、药物研发等领域的酶工程应用。

来源：OpenAI研究论文

OpenAI最新研究通过数学证明，大模型幻觉（虚构信息）问题源于其逐词概率预测机制及训练数据稀疏性，即使数据完美仍不可避免。现有评估体系（二元评分惩罚“不确定”回答）进一步鼓励模型盲目猜测。虽可通过置信度阈值减少幻觉（如仅回答高确信问题），但会导致30%以上查询无答案，降低用户体验。更根本的是，不确定性感知需数倍算力支撑，成本过高，目前仅在高价值领域（如医疗、金融）具经济可行性。消费级AI因用户预期、评估方式及算力经济制约，幻觉问题短期内难以彻底解决。

来源：arXiv预印本服务器

Salesforce AI Research等机构的研究表明，主流AI工具（如Perplexity、You.com、Bing Chat及GPT-4.5）在回答问题时，约30%-47%的声明无法被其提供的来源支持。研究通过DeepTRACE框架测试300多个问题发现，AI在争议性话题中常呈现单方面观点且过度自信，容易形成“信息茧房”，同时存在虚构内容或引用不准确（部分系统引文准确率仅40%-80%）。结果显示当前AI搜索系统仍需大幅改进以确保可靠性与用户自主性。