新版ChatGPT在哪些方面“更像人”

-loading-

听音频 🔊 . 看视频 🎦

... 2024-05-16 19:20 .. 实时聊天是ChatGPT的关键技能。
    相比先前版本，GPT-4o的不同主要表现在：一是使用者可以随时打断聊天机器人，无需像从前那样等它把话说完；二是它会实时对问题作出回应，不再有两到三秒的时滞；三是它能感知人的情绪，比如演示者呼吸急促，它会询问对方是否需要稍稍稳定下情绪。
    另外，GPT-4o可以生成不同风格的声音。
    演示中，GPT-4o利用其视觉和语音能力，指导演示者在纸上逐步解出一道方程题，而不是直接给出答案。
    它还展示了英语与意大利语互译、用自拍照片识别情绪等能力。
    当一名演示者告诉它，自己正展示它是“多么有用和不可思议”时，它回答道：“哦，快别说了，怪害臊的.”
    开放人工智能研究中心首席执行官萨姆·奥尔特曼在博客中写道，GPT-4o就像电影中的人工智能技术。
    “与电脑交谈一直让我感觉不自然，现在自然了.”
    应用潜力如何北京邮电大学人机交互与认知工程实验室主任刘伟说，无 .. UfqiNews ↓ 1

... 03-02 08:24 , 7767 , 161 ..
[编按：转载于钛媒体/文｜深燃，作者|邹帅，编辑|唐亚华， 2023-03-01. ChatGPT能取代多少程序员？ ]

“去年年底，我看到大佬们都在分享ChatGPT相关的内容，一开始我以为还是资本和大佬fomo的玩具，但是经过使用、和朋友交流，加上自己的研究，我确信ChatGPT模型是革命性的.”

樊高曾在国内大厂做过后端工程师，离开程序员岗位许久，他因为ChatGPT又再一次将目光投向代码世界.

樊高觉得，作为生成式AI，ChatGPT的交互能力极强， “它其实是用整个人类在互联网中的语调，训练成了一个大语言集合，可以想象它会开启一个使用自然语言和机器交互的新时代.”

而作为曾经的技术人员，樊高也承认，部分初级和重复劳动的工作都会被AI代劳，这在程序员工作中也一样.

“我们日常写代码，最早是一行行的码，每个变量方法都要自己生成，后来idea有代码补全和编译器，现在GitHubCopilot可以通过描述需求和上下文，智能写代码.”

按照这个逻辑，他认为，编码也并不是不可取代的能力，交给AI指日可待.


市场上也有AI取代程序员的消息传出.
    据CNBC报道，据谷歌内部的测试显示，ChatGPT能够通过谷歌的初级软件工程师面试，这个职位通常适用于新的大学毕业生和第一次从事编码工作的求职者.
    有计算机从业者也进行了尝试，发现ChatGPT确实能够进行写基础的脚本，虽不能进行完整的编程直接开发一个程序，但它能通过一步步指令，教人类完成这一项工作，它甚至有debug的能力.


如此看来，大量基础的编码工作可以由AI完成，而AI通过长时间学习能否无限提升自己的编码能力，也未可知.
    有程序员向深燃表达了自己的担忧，曾以为搞IT会是比高速收费员稳定的 “铁饭碗”，然而现在发现自己也是那个小窗里随时会被取代的人 ... 美国OpenAi公司的人工智能聊天机器人ChatGPT能取代多少程序员？ ⟶

... 02-08 06:19 , 7437 , 161 ..
迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11

取经之路：复刻ChatGPT时要注意些什么
如果希望能复刻类似ChatGPT这种效果令人惊艳的LLM模型，综合目前的各种研究结论，在做技术选型时需要重点权衡如下问题：
首先，在预训练模式上，我们有三种选择：GPT这种自回归语言模型，Bert这种双向语言模型，以及T5这种混合模式(Encoder-Decoder架构，在Encoder采取双向语言模型，Decoder采取自回归语言模型，所以是一种混合结构，但其本质仍属于Bert模式).
    我们应选择GPT这种自回归语言模型，其原因在本文范式转换部分有做分析.
    目前看，国内LLM在做这方面技术选型的时候，貌似很多都走了Bert双向语言模型或T5混合语言模型的技术路线，很可能方向走偏了.

第二，强大的推理能力是让用户认可LLM的重要心理基础，而如果希望LLM能够具备强大的推理能力，根据目前经验，最好在做预训练的时候，要引入大量代码和文本一起进行LLM训练.
    至于其中的道理，在本文前面相关部分有对应分析.

第三，如果希望模型参数规模不要那么巨大，但又希望效果仍然足够好，此时有两个技术选项可做配置：要么增强高质量数据收集、挖掘、清理等方面的工作，意思是我模型参数可以是ChatGPT/GPT 4的一半，但是要想达到类似的效果，那么高质量训练数据的数量就需要是ChatGPT/GPT 4模型的一倍（Chinchilla的路子）；另外一个可以有效减小模型规模的路线是采取文本检索（Retrieval based）模型+LLM的路线，这样也可以在效果相当的前提下，极大减少LLM模型的参数规模.
    这两个技术选型不互斥，反而是互补的，也即是说，可以同时采取这两个技术，在模型规模相对比较小的前提下，达到超级大模型类似的效果.


... 迈向通用人工智能AGI之路：大型语言模型LLM技术精要-11 ⟶