-
06-06 18:50...除了模型训练以外,AI在推理阶段的耗能也不容忽视。推理即大模型响应用户需求的过程,张云泉介绍,大模型单次响应用户需求的耗电量并不大,但随着用户规模的增加,耗电量也将不断累积并增大。近日,源自美国的一则如果将10万块英伟达H00芯片部署在同一地区进行模型训练,会导致电网崩溃的新闻引起社会关注。多位专家在接受记者采访时表示... 0
-
05-29 23:00...目前GPT-4、GPT-5等大模型都达到了“万卡万参”的规模,且训练模型所用芯片也从英伟达A100更新到英伟达H100、B200,“参数量的激增将导致能耗显著增加”。除了模型训练以外,AI在推理阶段的耗能也不容忽视。“推理即大模型响应用户需求的过程”,张云泉介绍,大模型单次响应用户需求的耗电量并不大,“但随着用户规模的... 0
-
05-28 04:50...且训练模型所用芯片也从英伟达A100更新到英伟达H100、B200,“参数量的激增将导致能耗显著增加”。除了模型训练以外,AI在推理阶段的耗能也不容忽视。“推理即大模型响应用户需求的过程”,张云泉介绍,大模型单次响应用户需求的耗电量并不大,“但随着用户规模的增加,耗电量也将不断累积并增大。”近日,源自美国的一则“如果将... 0
-
05-16 21:20...一块英伟达H100型图形处理单元一年消耗的电量,比一个中等规模的美国家庭一年所耗的电量还要多。美国《哈佛杂志》网站提出,大语言模型在生成类似人类、连贯且符合上下文逻辑的文本方面做得更好。但这种改进也有代价,训练GPT-3消耗的能源相当于120个美国家庭一年消耗的能源。美国《纽约时报》报道,ChatGPT每天要响应大约2... 2
-
05-16 20:10...利用率提升也将为企业节省大量成本。能耗是另一个大的挑战,算力本身会成为主要的能耗和二氧化碳排放来源。明显可预见的就是,GPU的能耗本身是CPU能耗的2倍以上。根据MIT研究表明,未来人类需要为人工智能相关应用新增10%的能源需求。也就是说,“炼”大模型会比炼钢还费电。对于一个企业来说,每新增一个用于智算的机架,其运行一... 0
-
05-07 15:00...训练GPT-3消耗的能源相当于120个美国家庭一年消耗的能源。美国《纽约时报》的报道更是惊人,ChatGPT每天要响应大约2亿个请求,这一过程中消耗超过50万度电。世界经济论坛的数据显示,运行AI任务所需的能源消耗,年增长率介于26%至36%之间。这意味着到2027年,AI行业消耗的能源堪比冰岛或荷兰等国家一年的能耗。... 0
-
-
04-29 22:00...AI大语言模型GPT-3在训练期间耗水近700吨,每回答20个至50个问题就要消耗500毫升水。弗吉尼亚理工大学研究指出,Meta公司在2022年使用了超过260万立方米的水,主要作用是为数据中心提供冷却。据了解,人工智能大模型GPT-4的主要参数是GPT-3的20倍,计算量是GPT-3的10倍,能耗也随之大幅增加。华... 1
-
-
-
本页Url:
-
2024-06-08-14:47 GMT . 添加到桌面浏览更方便.
-