来源: IEEE HPCA 2026
KAIST团队首次量化分析AI代理(可自主规划、调用外部工具的智能体)的计算与能耗成本。研究发现,相比传统链式推理,AI代理因反复调用大语言模型,单次查询能耗平均达348.41瓦时,是简单问答系统的136.5倍;响应延迟最高增加153.7倍,GPU闲置率高达54.5%。若达到谷歌搜索级别日请求量,数据中心功耗将达198.9 GW(约等于美国一半平均用电量),凸显AI竞争正从“更智能”转向“更高效”的基础设施协同优化。
来源: IEEE HPCA 2026
KAIST团队首次量化分析AI代理(可自主规划、调用外部工具的智能体)的计算与能耗成本。研究发现,相比传统链式推理,AI代理因反复调用大语言模型,单次查询能耗平均达348.41瓦时,是简单问答系统的136.5倍;响应延迟最高增加153.7倍,GPU闲置率高达54.5%。若达到谷歌搜索级别日请求量,数据中心功耗将达198.9 GW(约等于美国一半平均用电量),凸显AI竞争正从“更智能”转向“更高效”的基础设施协同优化。