全民阅读高质量发展（新数据新看点）

-loading-

听音频 🔊 . 看视频 🎦

... 2022-11-22 11:20 .. 真是让人惊喜和难忘.”
    说起因为图书结缘了许多“书友”，广东佛山市民罗茜兴奋不已。
    佛山有1300多个“图书馆馆长”，他们管理着开在自家的“邻里图书馆”，利用公共图书馆的藏书资源和家里的书籍定期组织阅读分享活动。
    2015年，中办、国办印发《关于加快构建现代公共文化服务体系的意见》，提出鼓励和引导社会力量参与；国办转发《关于做好政府向社会力量购买公共文化服务工作的意见》，强调逐步构建多层次、多方式的公共文化服务供给体系。
    “在政策指导下，我们创新推出了‘邻里图书馆’和‘易本书’服务.”
    佛山市图书馆馆长黄百川介绍，公共文化服务的享受者转变为参与者、提供者和创造者，串珠成链，涵养着城市的书香气息。
    10年来，《中华人民共和国公共文化服务保障法》施行，为人民群众的读书看报等基本文化权益提供了法律保障；《中华人民共和国公共图书馆法》对公共图书馆的设施建设、运行方式、服务提供、 .. UfqiNews ↓ 14

... 02-10 06:35 , 7459 , 167 ..
[编按：转载于网易网/蒲公英互联， 2023-02-10. ]

ChatGPT 编年史
我们如何错过GPT盛宴
GPT大语言模型能实现AGI吗？

----
ChatGPT编年史----
我们来梳理一个时间轴.
    ChatGPT是对话式UI + GPT–3.5系列模型，我们以最具代表性的论文、模型、API为主线，梳理到今天.

2020之前
- 2017年6月，Google发布Transformer论文.

- 2017年6月，7月，OpenAI发布人类喜好的强化学习算法、PPO算法，都是ChatGPT用到的算法.

- 2018年6月，OpenAI发布GPT-1.
- 2018年11月，Google发布BERT，此后NLP领域主要基于这个框架研究下游任务.

- 2019年2月，OpenAI发布GPT-2，OpenAI获得了自信，此后专注于GPT.
2020年
- 年初，Covid-19爆发.
    中国闭关.

- 1月，OpenAI发布语言模型的Scaling Law（概念：模型能力跟参数规模、数据规模强相关），OpenAI获得了在数据和参数规模上Scaling-up的信心.

- 5月，GPT-3论文发布.

- 6月，GPT-3 API发布.

- 9月，ChatGPT的关键原型算法相关论文发布.

- 12月，欧洲机构发布用于GPT-3复现的开源数据集.

2021年
- 7月，OpenAI发布Copilot原型算法.

- 8月，Codex API发布.

- 11月，GPT-3 API Public Release，不对中国开 ... 中国如何缺席类ChatGPT人工智能AI盛宴 ⟶

... 02-08 06:19 , 7437 , 154 ..
迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11

取经之路：复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型，综合目前的各种研究结论，在做技术选型时需要重点权衡如下问题：
首先，在预训练模式上，我们有三种选择：GPT这种自回归语言模型，Bert这种双向语言模型，以及T5这种混合模式(Encoder-Decoder架构，在Encoder采取双向语言模型，Decoder采取自回归语言模型，所以是一种混合结构，但其本质仍属于Bert模式).
    我们应选择GPT这种自回归语言模型，其原因在本文范式转换部分有做分析.
    目前看，国内LLM在做这方面技术选型的时候，貌似很多都走了Bert双向语言模型或T5混合语言模型的技术路线，很可能方向走偏了.

第二，强大的推理能力是让用户认可LLM的重要心理基础，而如果希望LLM能够具备强大的推理能力，根据目前经验，最好在做预训练的时候，要引入大量代码和文本一起进行LLM训练.
    至于其中的道理，在本文前面相关部分有对应分析.

第三，如果希望模型参数规模不要那么巨大，但又希望效果仍然足够好，此时有两个技术选项可做配置：要么增强高质量数据收集、挖掘、清理等方面的工作，意思是我模型参数可以是ChatGPT/GPT 4的一半，但是要想达到类似的效果，那么高质量训练数据的数量就需要是ChatGPT/GPT 4模型的一倍（Chinchilla的路子）；另外一个可以有效减小模型规模的路线是采取文本检索（Retrieval based）模型+LLM的路线，这样也可以在效果相当的前提下，极大减少LLM模型的参数规模.
    这两个技术选型不互斥，反而是互补的，也即是说，可以同时采取这两个技术，在模型规模相对比较小的前提下，达到超级大模型类似的效果.


... 迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11 ⟶