官方网站-首页官方网站-首页

新闻中心

NEWS CENTER

新闻中心 媒体报道 AI还在一本正经地“胡说八道”?它可能被“投毒”了

AI还在一本正经地“胡说八道”?它可能被“投毒”了

发布时间:2025-08-09 08:30:03

阅读量:326次

【导语】人工智能(AI)时不时“一本正经地胡说八道”让人恼火?这可能是AI训练数据被“投毒”所致。近日,国家安全部发布安全提示,指出AI训练数据存在良莠不齐问题,虚假信息和偏见性观点导致的数据“污染”给AI安全带来挑战。专家呼吁加强数据监管,提高数据质量,同时提醒公众日常使用AI时应持谨慎态度,避免因AI错误导致严重后果。

AI还在一本正经地“胡说八道”?它可能被“投毒”了

还在为人工智能(AI)时不时“一本正经地胡说八道”恼火?

或许,你的AI被“投毒”了。8月5日,国家安全部发布安全提示,AI训练数据存在良莠不齐的问题,虚假信息、虚构内容和偏见性观点导致的数据“污染”,给AI安全带来挑战。

“训练数据之于AI,就像教科书之于学生。”中国科学院计算技术研究所工程师刘延嘉将AI比喻成勤奋好学的学生,“AI正是通过学习文本、图像、行为等数据构建认知模型,形成对世界的理解与判断能力。若教科书内容存在错误或偏见,学生的知识体系必然扭曲。”

研究显示,当训练数据中仅有0.01%的虚假文本时,AI模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,有害输出也会上升7.2%。“训练数据的细微瑕疵,也可能导致AI输出错误、偏见甚至危险的结果。”刘延嘉说。

AI的训练数据为何会被“污染”?

“数据被污染的情况较复杂,既有人为故意‘数据投毒’的可能,也可能因数据收集、整理过程缺乏严格规范和审核所致。”同盾人工智能研究院执行院长董纪伟说,受到数据污染的AI生成的虚假内容,可能成为后续AI训练的数据源,形成具有延续性的“污染遗留效应”。

董纪伟认为,“数据放大效应”或是更大的隐性风险,“AI可能通过算法强化,将数据中的一些偏见演变为系统性偏见,并在输出时将其奉为‘真理’。”

如今,网上AI生成内容数量已超过人类生产的真实内容,大量低质量及非客观数据充斥其中。“当AI训练数据中的错误信息逐代累积,必然会扭曲AI本身的认知能力。”董纪伟提醒。

“毒”数据对AI输出的影响,远不止“一本正经地胡说八道”这么简单,往往还具有“隐性但致命”特征。试想,当“涉毒”AI广泛应用于日常,人们可能因AI的错误诊断延误治疗;投资者可能被AI推荐的虚假高收益项目欺骗;汽车可能因AI的错误导航而迷失方向……

这样的AI,谁敢放心用?

目前,《生成式人工智能服务管理暂行办法》和新版《数据安全法》已经将AI训练数据纳入监管。但专家认为,要从技术层面解决AI训练数据污染问题,还有待AI开发者在数据筛选验证机制、数据实时监测和(hé)数(shù)据(jù)溯(sù)源(yuán)等(děng)方(fāng)面(miàn)付(fù)出(chū)更(gèng)多(duō)努(nǔ)力(lì)。正(zhèng)如(rú)中(zhōng)国(guó)工(gōng)程(chéng)院(yuàn)院(yuàn)士(shì)邬(wū)贺(hè)铨(quán)所(suǒ)言(yán):“AI的(de)安(ān)全边(biān)界(jiè),最(zuì)终(zhōng)取(qǔ)决(jué)于(yú)数(shù)据(jù)的(de)质(zhì)量(liàng)底(dǐ)线(xiàn)。”

面(miàn)对(duì)并(bìng)不(bù)完(wán)美(měi)的(de)AI,我们又该如何应对?

董纪伟建议,日常使用AI时应持谨慎态度,如果AI给出的回答涉及重要决策,务必向专业人士核实。“当然,也可用多个AI工具对同一问题进行询问,通过对比答案来判断AI的可靠性。若发现AI频繁给出不合理或错误回答,可直接更换AI工具。”

(科普时报记者 陈杰)

前一篇:世界首款光子时钟芯片,北大引领新技术革命,6G超算都离不开它 返回列表 下一篇:AI研究所 | 元宇宙为何突然不火了?

相关新闻

中国“人造太阳”找到突破密度极限方法

2026-01-04

中国“人造太阳”找到突破密度极限方法

听歌时身体的一个小动作,揭穿了大脑的工作真相

2026-01-04

听歌时身体的一个小动作,揭穿了大脑的工作真相

向章鱼“取经”,科学家3D打印出能抓蛋黄的水凝胶抓手

2026-01-03

向章鱼“取经”,科学家3D打印出能抓蛋黄的水凝胶抓手

云平台应用案例

帮助企业低成本、高效率、专业化建立属于自己的工业互联网平台!

立即咨询