... 2024-06-29 23:10 .. 尺度定律在不同学科领域中都有广泛的应用，包括物理学、生物学、经济学等，OpenAI2020年发现，大语言模型也遵循着尺度定律（以Transformer为代表）。
尺度定律是通过增加计算量、模型参数和数据集大小来提升单个大语言模型的“智能”水平。
但在多模态的数据集中，尺度定律的极限更加难以达到，模型性能会在达到极限前提前衰减。
通往AGI的路径：多模态大模型训练模型的算力需求激增，如早期的AlexNet仅需要470PBFLOP用于训练，而2017年发布的Transfomer则需要约7400PB。
谷歌的GeminiUltra是目前最先进的基础模型之一，则需要500亿PBFLOP的算力。
传统的人工智能系统的能力有限，语言模型在文本理解方面表现出色，但在图像处理方面表现不佳，反之亦然。
但随着多模态大模型的发展，一些新的模型如谷歌的Gemini和OpenAI的GPT-4， .. UfqiNews ↓
6
本页Url
🤖 智能推荐
