... 2023-08-15 09:10 .. 目前ChatGPT在海外应用掀起了热潮,它实现了很好的交互,这里会有怎样的风险?朱军:目前ChatGPT等大语言模型正处于快速发展的过程中,但同时也带来了潜在的风险——比如会存在一些“注入式攻击”。
从算法角度来看,如果有人别有用心的注入特定词语或符号,将可能诱导大模型逻辑混乱、输出错误。
在多轮对话系统中,如果要防御注入式的攻击是很难的。
黑客可能会以各种方式去做注入攻击,并因大模型的语境理解技术,使得攻击效果延迟表现出来,这对于算法的检测与防御来说是新的挑战。
对此,需要我们使用类似强化学习的方法来对算法进行反向推导,以检测并防御可能被恶意注入的词语。
只有保证系统在训练过程中未被恶意注入,或未被植入后门以及其他漏洞,该系统才能被安心使用。
从应用层面来看,还可能会出现一些恶意使用对话系统的风险,比如黑客尝试绕过反注入防护措施生成低质量或不良内容,包括涉黄、涉暴等违 .. UfqiNews ↓
1
本页Url
🤖 智能推荐