深化产教融合、提升“关键能力” 重庆市大渡口区持续推动职业教育内涵特色高质量发展

-loading-

听音频 🔊 . 看视频 🎦

... 2023-06-12 18:20 .. 两大集团云集了包括重庆师范大学等3所高等院校，重庆市渝北职教中心等23所市内外中职学校，重庆市旅游协会等8个科研机构、教育学会、行业协会，重庆ＪＷ万豪酒店等31家行业企业，65家成员单位，与各企业建立了稳定的合作关系。
重庆市旅游学校还被认定为重庆市第二批中等职业教育示范性职业教育集团培育单位，出版了《重庆市中职专业人才培养指导方案》《重庆市中等职业学校旅游大类专业核心课程标准》，高星级饭店运营与管理旅游服务与管理中餐烹饪与营养膳食美发与形象设计4个专业的人才培养方案被《重庆市中等职业学校30个专业人才培养指导方案》收录，《饭店礼仪》《食品雕刻》两本教材进入十四五职业教育国家规划教材复核名单。
大渡口区中职学校深入现代学徒制人才培养模式改革实践，以校企合作为基础，以人才培养为核心，以课程建设为纽带，把教学过程与企业需求、企业标准、企业项目、企业管理、企业文化深度 .. UfqiNews ↓ 8

... 02-10 06:35 , 7459 , 169 ..
[编按：转载于网易网/蒲公英互联， 2023-02-10. ]

ChatGPT 编年史
我们如何错过GPT盛宴
GPT大语言模型能实现AGI吗？

----
ChatGPT编年史----
我们来梳理一个时间轴.
    ChatGPT是对话式UI + GPT–3.5系列模型，我们以最具代表性的论文、模型、API为主线，梳理到今天.

2020之前
- 2017年6月，Google发布Transformer论文.

- 2017年6月，7月，OpenAI发布人类喜好的强化学习算法、PPO算法，都是ChatGPT用到的算法.

- 2018年6月，OpenAI发布GPT-1.
- 2018年11月，Google发布BERT，此后NLP领域主要基于这个框架研究下游任务.

- 2019年2月，OpenAI发布GPT-2，OpenAI获得了自信，此后专注于GPT.
2020年
- 年初，Covid-19爆发.
    中国闭关.

- 1月，OpenAI发布语言模型的Scaling Law（概念：模型能力跟参数规模、数据规模强相关），OpenAI获得了在数据和参数规模上Scaling-up的信心.

- 5月，GPT-3论文发布.

- 6月，GPT-3 API发布.

- 9月，ChatGPT的关键原型算法相关论文发布.

- 12月，欧洲机构发布用于GPT-3复现的开源数据集.

2021年
- 7月，OpenAI发布Copilot原型算法.

- 8月，Codex API发布.

- 11月，GPT-3 API Public Release，不对中国开 ... 中国如何缺席类ChatGPT人工智能AI盛宴 ⟶

... 02-08 06:19 , 7437 , 159 ..
迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11

取经之路：复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型，综合目前的各种研究结论，在做技术选型时需要重点权衡如下问题：
首先，在预训练模式上，我们有三种选择：GPT这种自回归语言模型，Bert这种双向语言模型，以及T5这种混合模式(Encoder-Decoder架构，在Encoder采取双向语言模型，Decoder采取自回归语言模型，所以是一种混合结构，但其本质仍属于Bert模式).
    我们应选择GPT这种自回归语言模型，其原因在本文范式转换部分有做分析.
    目前看，国内LLM在做这方面技术选型的时候，貌似很多都走了Bert双向语言模型或T5混合语言模型的技术路线，很可能方向走偏了.

第二，强大的推理能力是让用户认可LLM的重要心理基础，而如果希望LLM能够具备强大的推理能力，根据目前经验，最好在做预训练的时候，要引入大量代码和文本一起进行LLM训练.
    至于其中的道理，在本文前面相关部分有对应分析.

第三，如果希望模型参数规模不要那么巨大，但又希望效果仍然足够好，此时有两个技术选项可做配置：要么增强高质量数据收集、挖掘、清理等方面的工作，意思是我模型参数可以是ChatGPT/GPT 4的一半，但是要想达到类似的效果，那么高质量训练数据的数量就需要是ChatGPT/GPT 4模型的一倍（Chinchilla的路子）；另外一个可以有效减小模型规模的路线是采取文本检索（Retrieval based）模型+LLM的路线，这样也可以在效果相当的前提下，极大减少LLM模型的参数规模.
    这两个技术选型不互斥，反而是互补的，也即是说，可以同时采取这两个技术，在模型规模相对比较小的前提下，达到超级大模型类似的效果.


... 迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11 ⟶