... 2023-10-11 23:40 .. 0的参数量、训练数据量以及推理成本等都比3.5高出一个数量级。
今年3月16日，百度官宣新一代大语言模型“文心一言”启动邀测，8月31日正式面向公众开放服务。
如今，文心大模型即将再度升级发布4.0版，如此迅速的大模型升级速度，在国内尚属唯一。
只不过，快速升级的背后，文心大模型4.0快速攀升的参数量、数据量所带来的训练和推理成本提升，也正在成为大模型商业化过程中需要考虑的重点。
据此前消息报道，相比文心大模型3.5，文心4.0不仅训练成本在增加，推理成本也增加了很多，大概是此前的8-10倍。
一直以来，百度并未对外披露大模型训练、推理的各项成本，不过据国盛证券此前估算，GPT-3训练一次的成本约为140万美元，对于一些更大的LLM模型（如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM），训练成本介于200万美元至1200万美元之间。
作为国内大语言模型 .. UfqiNews ↓
1
本页Url
🤖 智能推荐
