潮头观澜｜数据折射长三角一体化发展高质量底色

-loading-

听音频 🔊 . 看视频 🎦

... 2023-12-06 09:50 .. 2018年以来，长三角地区GDP占全国的比重始终保持在24%左右，呈稳定发展态势。
    GDP过万亿元的城市从6个提升到8个，约占全国万亿城市总数的。
    2022年，长三角地区进出口总额占全国的比重在36%左右，港口集装箱吞吐量约占全国比重38%，主要机场货邮吞吐量约占全国比重35%，世界级的港口群、机场群加快构建。
    培育发展新动能5年来，长三角地区不断提供高水平科技供给，助推全国高质量发展。
    到2022年底，这里集聚11.6万家高新技术企业，占全国比重近30%；研发经费投入总量超9000亿元，占全国比重近30%；同时，还拥有全国近的有效专利和的有效商标。
    从集成电路到人工智能，从生物医药到新能源汽车，长三角加快打造世界级产业集群——集成电路企业的总营收占全国半壁江山，人工智能产业规模在全国占比约为。
    今年前三季度，新能源汽车产量超过260万辆，在全国同期产量中占比超四成。
    拓 .. UfqiNews ↓ 5

... 02-10 06:35 , 7459 , 170 ..
[编按：转载于网易网/蒲公英互联， 2023-02-10. ]

ChatGPT 编年史
我们如何错过GPT盛宴
GPT大语言模型能实现AGI吗？

----
ChatGPT编年史----
我们来梳理一个时间轴.
    ChatGPT是对话式UI + GPT–3.5系列模型，我们以最具代表性的论文、模型、API为主线，梳理到今天.

2020之前
- 2017年6月，Google发布Transformer论文.

- 2017年6月，7月，OpenAI发布人类喜好的强化学习算法、PPO算法，都是ChatGPT用到的算法.

- 2018年6月，OpenAI发布GPT-1.
- 2018年11月，Google发布BERT，此后NLP领域主要基于这个框架研究下游任务.

- 2019年2月，OpenAI发布GPT-2，OpenAI获得了自信，此后专注于GPT.
2020年
- 年初，Covid-19爆发.
    中国闭关.

- 1月，OpenAI发布语言模型的Scaling Law（概念：模型能力跟参数规模、数据规模强相关），OpenAI获得了在数据和参数规模上Scaling-up的信心.

- 5月，GPT-3论文发布.

- 6月，GPT-3 API发布.

- 9月，ChatGPT的关键原型算法相关论文发布.

- 12月，欧洲机构发布用于GPT-3复现的开源数据集.

2021年
- 7月，OpenAI发布Copilot原型算法.

- 8月，Codex API发布.

- 11月，GPT-3 API Public Release，不对中国开 ... 中国如何缺席类ChatGPT人工智能AI盛宴 ⟶

... 02-08 06:19 , 7437 , 162 ..
迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11

取经之路：复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型，综合目前的各种研究结论，在做技术选型时需要重点权衡如下问题：
首先，在预训练模式上，我们有三种选择：GPT这种自回归语言模型，Bert这种双向语言模型，以及T5这种混合模式(Encoder-Decoder架构，在Encoder采取双向语言模型，Decoder采取自回归语言模型，所以是一种混合结构，但其本质仍属于Bert模式).
    我们应选择GPT这种自回归语言模型，其原因在本文范式转换部分有做分析.
    目前看，国内LLM在做这方面技术选型的时候，貌似很多都走了Bert双向语言模型或T5混合语言模型的技术路线，很可能方向走偏了.

第二，强大的推理能力是让用户认可LLM的重要心理基础，而如果希望LLM能够具备强大的推理能力，根据目前经验，最好在做预训练的时候，要引入大量代码和文本一起进行LLM训练.
    至于其中的道理，在本文前面相关部分有对应分析.

第三，如果希望模型参数规模不要那么巨大，但又希望效果仍然足够好，此时有两个技术选项可做配置：要么增强高质量数据收集、挖掘、清理等方面的工作，意思是我模型参数可以是ChatGPT/GPT 4的一半，但是要想达到类似的效果，那么高质量训练数据的数量就需要是ChatGPT/GPT 4模型的一倍（Chinchilla的路子）；另外一个可以有效减小模型规模的路线是采取文本检索（Retrieval based）模型+LLM的路线，这样也可以在效果相当的前提下，极大减少LLM模型的参数规模.
    这两个技术选型不互斥，反而是互补的，也即是说，可以同时采取这两个技术，在模型规模相对比较小的前提下，达到超级大模型类似的效果.


... 迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11 ⟶