-
2023-02-08...迈向通用人工智能AGI之路:大型语言模型LLM技术精要-11
取经之路:复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型,综合目前的各种研究结论,在做技术选型时需要重点权衡如下问题:
首先,在预训练模式上,我们有三种选择:GPT这种自回归语... 154 -
2023-02-08...迈向通用人工智能AGI之路:大型语言模型LLM技术精要-7
人机接口:从In Context Learning到Instruct理解
一般我们经常提到的人和LLM的接口技术包括:zero shot prompting、few shot prompting、In Context Learning,以及In... 95 -
2023-02-08...迈向通用人工智能AGI之路:大型语言模型LLM技术精要-6
规模效应:当LLM越来越大时会发生什么
我们知道,近年来,LLM模型规模在快速增长,目前效果最好的LLM模型,其参数规模大都超过了千亿(100B)参数规模。比如,OpenAI的GPT 3的规模为175B,Google的LaMDA规模为... 120 -
2023-02-08...迈向通用人工智能AGI之路:大型语言模型LLM技术精要-5
学习者:从无尽数据到海量知识
从目前研究结果看,Transformer是足够强大的特征抽取器,尚不需要做特别的改进。那么通过预训练过程,Transformer学到了什么?知识是如何存取的?我们又如何修正错误知识?本节讲述这方面的研究进... 130 -
2023-02-08...迈向通用人工智能AGI之路:大型语言模型LLM技术精要-3
范式转换2.0: 从预训练模型走向通用人工智能 (AGI,Artificial General Intelligence)
这个范式转换所涵盖的时间范围,大致在GPT3.0出现之后(2020年6月左右),一直到目前为止,我们应该正处于这个范式转... 117 -
2023-02-02...美国OpenAI的ChatGPT预示人类思维探索的极大进步-2 GPT诞生,碰壁
根据Transformer,OpenAI的兄弟们产生了GPT。啥叫GPT呢,看看它自己的定义:
GPT 是 Generative Pretrained Transformer 的缩写,是由 OpenAI 开发的语... 149 -
-
2021-05-07...[陈小天, 2021-05-02.]在 Fundamentals of Generic Programming[1] 里,Alexander Stepanov(泛型概念的创立者)用一段优雅的文字描绘了计算机技术不断泛化(generalized)的历史:"... 147
-
-
本页Url:
-
2024-04-19-21:15 GMT . 添加到桌面浏览更方便.
-