ChatGPT居然这么费电?
最新的等式出现了:
ChatGPT日耗电量≈1.7万家庭日耗电量。
什么概念?一年光电费就要花2亿!
美国普通家庭平均单日用电29千瓦时,而ChatGPT的单日用电量超过了50万千瓦时。
(美国商业用电一度约为0.147美元也就是1.06元,相当于一天53万元)
消息一出就直接冲上热搜第一了。
除了OpenAI,谷歌也“不容小觑”:
在谷歌搜索中应用生成式AI技术,谷歌每年的耗电量将高达290亿千瓦时,也就是每天约7900万度(?)。
而在未来,AI这一“吃电巨兽”的食量还会更惊人。
数据统计:
到2027年,人工智能数据中心的用电量将和荷兰、瑞典等小国用电量相当。
有网友看完表示:
这是利好光伏和风电?
所以AI最后拼的是谁发电多、谁发电成本低?
AI要耗多少电?
如上数据来自一篇论文《The growing energy footprint of artificial intelligence》。
作者是荷兰数字经济学家Alex de Vries,他通过英伟达、OpenAI、谷歌等公开数据进行估算。
结果就得出了很多意想不到的结论。
首先,现在大模型训练时期的耗电量和推理阶段相比,已经不值一提了。
SemiAnalysis数据显示,OpenAI需要3617台英伟达HGX A100、共28936个GPU来支持ChatGPT推理。
ChatGPT每天需要响应1.95亿次请求,预计每天需要消耗564兆瓦时电力,每个请求大约2.9瓦时。
而GPT-3整个训练阶段的耗电量预估为1287兆瓦时,是ChatGPT大约4天的消耗量。
谷歌报告也表示,2019-2021年,与人工智能相关的能源消耗中有60%来自推理部分。
因此论文提出未来研究AI用电量时,更应该从全周期角度考量。
但这也与模型再训练频率、模型性能与功耗之间的平衡有关系。比如BLOOM在推理阶段的耗电量就显著降低。