甘肃省省长任振鹤：锤炼推动高质量发展的本领

-loading-

听音频 🔊 . 看视频 🎦

... 2023-06-21 23:40 .. 展现富民兴陇新气象、新前景。
    强定力，坚定不移贯彻新发展理念。
    高质量发展就是体现新发展理念的发展。
    在以新发展理念引领高质量发展上，我们要脑子特别清醒、眼睛特别明亮、定力特别坚定。
    把注意力集中到解决各种不平衡不充分的问题上来，依照新发展理念的整体性和关联性进行系统设计，做到相互促进、齐头并进，防止畸轻畸重、顾此失彼的倾向，防止盲目冲动、一哄而上的倾向，防止老调重弹、新瓶旧酒的倾向，防止重近轻远、重显轻潜的倾向。
    善统筹，学会用十个指头弹钢琴。
    要处理好局部和整体的关系，树牢“一盘棋”理念，结合国家政策，着眼全省发展，谋划各项工作，既为一域争光又为全局添彩；处理好重点和一般的关系，善于抓住主要矛盾和矛盾的主要方面，把牵一发而动全身、一子落而全盘活的大事要事抓实抓好；处理好当下和长远的关系，把解当下之急与谋长远之势结合起来，增强工作预见性、前瞻性和实效性。
    比如，在建设宜 .. UfqiNews ↓ 2

... 02-08 06:19 , 7437 , 156 ..
迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11

取经之路：复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型，综合目前的各种研究结论，在做技术选型时需要重点权衡如下问题：
首先，在预训练模式上，我们有三种选择：GPT这种自回归语言模型，Bert这种双向语言模型，以及T5这种混合模式(Encoder-Decoder架构，在Encoder采取双向语言模型，Decoder采取自回归语言模型，所以是一种混合结构，但其本质仍属于Bert模式).
    我们应选择GPT这种自回归语言模型，其原因在本文范式转换部分有做分析.
    目前看，国内LLM在做这方面技术选型的时候，貌似很多都走了Bert双向语言模型或T5混合语言模型的技术路线，很可能方向走偏了.

第二，强大的推理能力是让用户认可LLM的重要心理基础，而如果希望LLM能够具备强大的推理能力，根据目前经验，最好在做预训练的时候，要引入大量代码和文本一起进行LLM训练.
    至于其中的道理，在本文前面相关部分有对应分析.

第三，如果希望模型参数规模不要那么巨大，但又希望效果仍然足够好，此时有两个技术选项可做配置：要么增强高质量数据收集、挖掘、清理等方面的工作，意思是我模型参数可以是ChatGPT/GPT 4的一半，但是要想达到类似的效果，那么高质量训练数据的数量就需要是ChatGPT/GPT 4模型的一倍（Chinchilla的路子）；另外一个可以有效减小模型规模的路线是采取文本检索（Retrieval based）模型+LLM的路线，这样也可以在效果相当的前提下，极大减少LLM模型的参数规模.
    这两个技术选型不互斥，反而是互补的，也即是说，可以同时采取这两个技术，在模型规模相对比较小的前提下，达到超级大模型类似的效果.


... 迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11 ⟶

...我们要深入开展学习贯彻习近平新时代中国特色社会主义思想主题教育，切实把握高质量发展的实践内涵，着力提高推动高质量发展的能力和水平，把党中央各项决策部署落到实处，推动高质量发展不断取得新成效.
    中国宏观经济研究院院长王昌林作专题讲座.
    国务院副总理何立峰、张国清，国务委员谌贻琴作交流发言.
    李强在听取讲座和交流发言后指出，习近平总书记强调，高质量发展是全面建设社会主义现代化国家的首要任务.
    我们要从全局和战略的高度加深对这一重大判断的理解和认识.
    要深刻认识高质量发展是推进中国式现代化的内在要求，不断解放和发展生产力，努力为全面建成社会主义现代化强国打下坚实的物质技术基础.
    要深刻认识高质量发展是跨越重大关口的必然选择，加快质量变革、效率变革、动力变革，推动经济在高质量发展轨道上行稳致远.
    要深刻认识高质量发展是赢得战略优势的关键所在，着力增强经济竞争力、创新力、抗风险能力.. 05-27 13:10 ↓ 39 ..UfqiNews