... 2023-08-15 09:10 .. 目前ChatGPT在海外应用掀起了热潮，它实现了很好的交互，这里会有怎样的风险？朱军：目前ChatGPT等大语言模型正处于快速发展的过程中，但同时也带来了潜在的风险——比如会存在一些“注入式攻击”。
从算法角度来看，如果有人别有用心的注入特定词语或符号，将可能诱导大模型逻辑混乱、输出错误。
在多轮对话系统中，如果要防御注入式的攻击是很难的。
黑客可能会以各种方式去做注入攻击，并因大模型的语境理解技术，使得攻击效果延迟表现出来，这对于算法的检测与防御来说是新的挑战。
对此，需要我们使用类似强化学习的方法来对算法进行反向推导，以检测并防御可能被恶意注入的词语。
只有保证系统在训练过程中未被恶意注入，或未被植入后门以及其他漏洞，该系统才能被安心使用。
从应用层面来看，还可能会出现一些恶意使用对话系统的风险，比如黑客尝试绕过反注入防护措施生成低质量或不良内容，包括涉黄、涉暴等违 .. UfqiNews ↓
1
本页Url
🤖 智能推荐
