如何看待AI“一本正经地胡说八道” #幻觉

-loading-

听音频 🔊 . 看视频 🎦

... 2025-07-02 19:40 .. 一项调研显示，对于“公众认为使用AI应用过程中有哪些突出问题”，反馈最多的是“内容不准确，或含虚假信息”，占比高达42.2%。
    AI幻觉从何而来？可能得从源头寻找答案。
    大模型的工作原理，是基于概率生成内容。
    给它上半句，它就根据自己“学”过的海量知识，“算出”下半句该说什么。
    比如，当用户输入“今天天气非常”，它大概率会接“不错”“热”“潮湿”等答案，而不会出现“甜”。
    同时，大模型又不是简单地储存所有事实，而会像人脑记东西那样，进行大量压缩和泛化——也就是“抓概要、找规律”。
    因此，当“喂给”大模型的训练数据包含虚假信息时，它就会产生“幻觉”、给出错误答案。
    有报告显示，我国生成式人工智能产品用户规模达2.49亿人。
    用户规模快速增长，AI幻觉潜藏的风险也随之增加。
    比如，如果一些看似合理却与现实相去甚远的内容被AI反复学习，会形成“数据污染—算法吸收—再污染”的恶性循环 .. UfqiNews ↓ 47

4416139189

...例如，相信大模型提供的错误治疗方案，可能导致疾病无法控制甚至进一步恶化.
    长此以往，恐将削弱人机信任关系.
    更令人担忧的是，大模型幻觉引发的价值风险呈现出从个人决策误导向群体认知偏差、社会秩序冲击的扩散路径.
    在公共决策领域，幻觉可能扭曲政策认知，如果不加强对大模型输出信息的甄别与把关，很有可能出现误读政策、发表歧视言论等幻觉问题，不仅会削弱政府公信力，甚至会危及社会公共安全.
    在意识形态安全领域，相关威胁更加隐蔽.
    例如，相关研究监测到，某些境外大模型带着意识形态的有色眼镜看待中国特色社会主义发展成就与制度优势，刻意混入虚假事实或错误评价，形成与主流话语不同的输出.
    这种经过意识形态包装的幻觉内容，通过知识问答形式进行价值渗透，其误导性远超传统虚假信息.
    大模型幻觉的治理对策预防与治理大模型幻觉，应构建技术纠偏、法律规制与伦理调适的三维治理体系，通过技术优化消除幻觉问题.. 04-11 14:50 ↓ 48

...这是我们觉得跟过往尤其不同的地方之一.”
    虽然到今天为止，能够被人们称为“杀手级”的人工智能应用还未出现，也出现了一些关于“人工智能泡沫”的讨论和质疑，但王仲远相信，“技术本身不是泡沫”.
    他告诉记者，事实上，大模型技术已经开始发挥作用并转化成生产力了.
    比如，利用相关技术开发各种各样的效率型工具，用于会议纪要、生成图像素材进行广告投放、辅助设计师创意工作等.
    但是，当前对人工智能能力的感知还局限于部分领域.
    “我们一直希望C端AI‘杀手级’应用能够出现，但目前还需要继续提升基座模型的能力，进一步解决‘AI幻觉’等问题.”
    “一直在思考如何对抗AI风险”通常，“AI幻觉”指大语言模型提供有争议的答案.
    而这些答案可能造成的不良后果也让人们更加关注潜在的“AI风险”.
    就在今年10月，外媒报道称，美国一青少年因迷恋人工智能聊天机器人而自杀，他的母亲对相关公司提起民事诉讼，指控.. 11-16 02:40 ↓ 24 ..UfqiNews