【深度观察】千问App“越狱”风波：生成式AI的内容安全防线能否固若金汤？
随着生成式人工智能技术的飞速迭代，AI应用生成内容的边界问题正日益成为社会关注的焦点，继此前多款大模型应用因输出不当信息而陷入舆论漩涡后，近期国产AI应用“千问App”被曝出疑似存在严重的安全漏洞，能够诱导模型生成淫秽色情小说，这一消息迅速在社交媒体上发酵,引发了公众对于人工智能内容安全机制有效性的强烈担忧。
据知情用户透露，部分网民通过精心设计的“提示词工程”技巧，在“千问App”上成功实施了“越狱”攻击，这些用户利用隐晦、复杂的指令绕过了系统的常规过滤机制，成功诱导AI生成了包含露骨色情情节的小说内容，该事件曝光后，不少网友表示震惊与愤怒，认为作为面向大众的AI助手，该平台在安全审核上的疏漏令人难以接受