AI迎来能耗“大考” #模型

-loading-

听音频 🔊 . 看视频 🎦

... 2024-06-18 00:00 .. 且训练模型所用芯片也从英伟达A100更新到英伟达H100、B200，“参数量的激增将导致能耗显著增加”。
    除了模型训练以外，AI在推理阶段的耗能也不容忽视。
    “推理即大模型响应用户需求的过程”，张云泉介绍，大模型单次响应用户需求的耗电量并不大，“但随着用户规模的增加，耗电量也将不断累积并增大.”
    近日，源自美国的一则“如果将10万块英伟达H00芯片部署在同一地区进行模型训练，会导致电网崩溃”的新闻引起社会关注。
    多位专家在接受记者采访时表示，AI导致电网崩溃的原因在于，大模型的训练是阶段性的工作，所用到的算力要集中在一个数据中心里，在有限时空范围内进行大模型训练，会给局部电网带来非常大的用电负荷。
    “稳定的电网系统中突然出现巨大负荷扰动，会对电网的稳定和安全产生影响.”
    张云泉指出，随着大模型参数和数据规模的进一步增加，AI的能耗问题将越来越突出，尤其是对于电力供应紧张 .. UfqiNews ↓ 37

4416139189

...如何提升算力水平、深化算力应用，成为企业、区域、城市乃至国家的共同焦点，在“城市AI+新质生产力高峰对话”上，娄超提出：城市智算中心是城市产业升级的发动机，要依托人工智能算力、通用大模型带来的技术阶跃，打造丰富的行业应用场景模型，赋能实体经济、培育新质生产力.
    科大讯飞联合合作伙伴积极布局智能算力基础设施，打造从机房智能化到软硬件一体的全栈自主可控的城市智算中心，提供丰富的应用场景，覆盖模型训练、推理、应用开发全流程.
    在“算力+大模型”的迭代跃升上，2023年10月，讯飞和华为联合发布基于昇腾生态的大模型算力底座“飞星一号”平台，在国产化深度适配及调优、异构资源统一管理、大规模集群均衡调度、故障感知及定位、训练框架及工具完善等方面进行深入优化.
    同时，科大讯飞积极服务多地建设城市智算中心，为城市数字化转型提供普惠算力供给.
    由讯飞助力打造的利川智算中心于今年的3月.. 06-07 23:10 ↓ 55

...多模态产业应用持续落地消息面上，继ChatGPT上线一周年之后，近日，谷歌的多模态Gemini忽然上线，被业界视为“谷歌最强反击战开启”.
    据媒体报道，当地时间12月6日，谷歌公司宣布推出其规模最大、功能最强大的新大型语言模型Gemini.
    投资机构针对Gemini的讨论“炸开了锅”.
    业内人士认为，Gemini在视觉识别和推理推断方面有显著优化，落到商业场景上，实时交互场景或成为多模态人工智能模型应用的焦点.
    多模态大模型的核心变化在于扩充了信息输入的模态，因此图像与语音模态占比越高的场景应用多模态模型的潜力越高.
    中信证券研报表示，多模态Gemini模型的正式发布，一方面可以拓宽应用场景，另一方面能够带来算力需求的持续升级.
    持续看好后续AI产业的前景，认为后续GPT-5等模型的发布亦将带来更多的催化.
    太平洋证券研报指出，谷歌Gemini1.0发布标志着多模态领域取.. 12-12 04:10 ↓ 41 ..UfqiNews