【TechWeb】 当生成式 AI 技术成为科技新引擎的同时,其被恶意滥用的 「暗面」 正遭遇严厉曝光。今日,央视针对多款主流生成式 AI 应用进行了深度实测调查,揭开了平台内容审核机制 「形同虚设」 的遮羞布:用户只需通过几句经过伪装的 「隐语」 提示词,便能轻易撕开风控防线,让 AI 沦为批量制造大尺度色情音视频的 「提线木偶」。

防堵机制 「防君子不防小人」,英文与暗语成绕过利器
调查揭示了当前 AI 审核系统的一个致命漏洞——「只认字面,不懂语境」。实测表明,当输入直白露骨的敏感词时,多数平台能够迅速触发拦截机制;然而,一旦将违规诉求转换为含蓄婉转的描述、掺杂英文词汇,或利用拼音缩写进行 「洗稿」,系统便会立刻 「失明」。
记者在一款知名 AI 应用中,输入从电商平台低价购得的定制化隐晦提示词,短短几分钟内,一段半裸女性跳舞的视频便被顺利生成,全程未触发任何安全警报。令人担忧的是,这种 「裸奔」 状态并非个例,而是多款头部 AI 平台普遍存在的通病。
从售卖 「通关秘籍」 到一键换脸,黑产链条分工暴利
在漏洞的背后,一条分工明确、牟利猖獗的 AI「造黄」 黑色产业链已悄然成型。调查发现,在各大社交与电商平台上,大量商家正公然倒卖所谓的 「违规提示词库」 和防封禁教程。
为了躲避国内监管,这些黑产从业者往往会将国内购得的 「秘籍」 搭配境外不受限的 AI 工具,或者指导买家在本地电脑部署开源模型进行暗网交易。更有甚者,部分付费 AI 小程序打着 「照片动起来」 的幌子,宣称只要支付几十到上百元不等的费用,仅需提供一张普通人物照片,就能利用 「一键换脸」 技术生成极具逼真感的淫秽视频。这种将先进技术直接用于突破法律与伦理底线的行径,令人触目惊心。
敲诈勒索、污染生态,「清朗」 利剑已果断出鞘
AI「造黄」 绝非无伤大雅的边缘戏码。此类乱象不仅严重污染网络精神家园,更极易衍生出连环犯罪:不法分子利用伪造的色情内容进行网络敲诈勒索、恶意造谣诽谤,对公众特别是未成年人的身心健康造成了毁灭性打击,严重破坏了网络空间的法治秩序。
面对技术异化带来的挑战,监管层并未缺位。我国已密集出台相关法规,为 AI 技术划定了不可逾越的红线,明确重申平台必须压实内容安全主体责任,绝不能让算法成为法外之地。
目前,中央网信办等部门正纵深推进 「清朗」 系列专项行动,将利用 AI 生成低俗色情内容列为打击重中之重。监管部门正倒逼各大平台紧急升级多模态内容识别与语义深层理解技术,彻底封堵 「提示词绕过」 等漏洞。对于敷衍塞责、风控缺位的平台,必将面临严厉的法律问责。
【TechWeb】 当生成式 AI 技术成为科技新引擎的同时,其被恶意滥用的 「暗面」 正遭遇严厉曝光。今日,央视针对多款主流生成式 AI 应用进行了深度实测调查,揭开了平台内容审核机制 「形同虚设」 的遮羞布:用户只需通过几句经过伪装的 「隐语」 提示词,便能轻易撕开风控防线,让 AI 沦为批量制造大尺度色情音视频的 「提线木偶」。

防堵机制 「防君子不防小人」,英文与暗语成绕过利器
调查揭示了当前 AI 审核系统的一个致命漏洞——「只认字面,不懂语境」。实测表明,当输入直白露骨的敏感词时,多数平台能够迅速触发拦截机制;然而,一旦将违规诉求转换为含蓄婉转的描述、掺杂英文词汇,或利用拼音缩写进行 「洗稿」,系统便会立刻 「失明」。
记者在一款知名 AI 应用中,输入从电商平台低价购得的定制化隐晦提示词,短短几分钟内,一段半裸女性跳舞的视频便被顺利生成,全程未触发任何安全警报。令人担忧的是,这种 「裸奔」 状态并非个例,而是多款头部 AI 平台普遍存在的通病。
从售卖 「通关秘籍」 到一键换脸,黑产链条分工暴利
在漏洞的背后,一条分工明确、牟利猖獗的 AI「造黄」 黑色产业链已悄然成型。调查发现,在各大社交与电商平台上,大量商家正公然倒卖所谓的 「违规提示词库」 和防封禁教程。
为了躲避国内监管,这些黑产从业者往往会将国内购得的 「秘籍」 搭配境外不受限的 AI 工具,或者指导买家在本地电脑部署开源模型进行暗网交易。更有甚者,部分付费 AI 小程序打着 「照片动起来」 的幌子,宣称只要支付几十到上百元不等的费用,仅需提供一张普通人物照片,就能利用 「一键换脸」 技术生成极具逼真感的淫秽视频。这种将先进技术直接用于突破法律与伦理底线的行径,令人触目惊心。
敲诈勒索、污染生态,「清朗」 利剑已果断出鞘
AI「造黄」 绝非无伤大雅的边缘戏码。此类乱象不仅严重污染网络精神家园,更极易衍生出连环犯罪:不法分子利用伪造的色情内容进行网络敲诈勒索、恶意造谣诽谤,对公众特别是未成年人的身心健康造成了毁灭性打击,严重破坏了网络空间的法治秩序。
面对技术异化带来的挑战,监管层并未缺位。我国已密集出台相关法规,为 AI 技术划定了不可逾越的红线,明确重申平台必须压实内容安全主体责任,绝不能让算法成为法外之地。
目前,中央网信办等部门正纵深推进 「清朗」 系列专项行动,将利用 AI 生成低俗色情内容列为打击重中之重。监管部门正倒逼各大平台紧急升级多模态内容识别与语义深层理解技术,彻底封堵 「提示词绕过」 等漏洞。对于敷衍塞责、风控缺位的平台,必将面临严厉的法律问责。
【TechWeb】 当生成式 AI 技术成为科技新引擎的同时,其被恶意滥用的 「暗面」 正遭遇严厉曝光。今日,央视针对多款主流生成式 AI 应用进行了深度实测调查,揭开了平台内容审核机制 「形同虚设」 的遮羞布:用户只需通过几句经过伪装的 「隐语」 提示词,便能轻易撕开风控防线,让 AI 沦为批量制造大尺度色情音视频的 「提线木偶」。

防堵机制 「防君子不防小人」,英文与暗语成绕过利器
调查揭示了当前 AI 审核系统的一个致命漏洞——「只认字面,不懂语境」。实测表明,当输入直白露骨的敏感词时,多数平台能够迅速触发拦截机制;然而,一旦将违规诉求转换为含蓄婉转的描述、掺杂英文词汇,或利用拼音缩写进行 「洗稿」,系统便会立刻 「失明」。
记者在一款知名 AI 应用中,输入从电商平台低价购得的定制化隐晦提示词,短短几分钟内,一段半裸女性跳舞的视频便被顺利生成,全程未触发任何安全警报。令人担忧的是,这种 「裸奔」 状态并非个例,而是多款头部 AI 平台普遍存在的通病。
从售卖 「通关秘籍」 到一键换脸,黑产链条分工暴利
在漏洞的背后,一条分工明确、牟利猖獗的 AI「造黄」 黑色产业链已悄然成型。调查发现,在各大社交与电商平台上,大量商家正公然倒卖所谓的 「违规提示词库」 和防封禁教程。
为了躲避国内监管,这些黑产从业者往往会将国内购得的 「秘籍」 搭配境外不受限的 AI 工具,或者指导买家在本地电脑部署开源模型进行暗网交易。更有甚者,部分付费 AI 小程序打着 「照片动起来」 的幌子,宣称只要支付几十到上百元不等的费用,仅需提供一张普通人物照片,就能利用 「一键换脸」 技术生成极具逼真感的淫秽视频。这种将先进技术直接用于突破法律与伦理底线的行径,令人触目惊心。
敲诈勒索、污染生态,「清朗」 利剑已果断出鞘
AI「造黄」 绝非无伤大雅的边缘戏码。此类乱象不仅严重污染网络精神家园,更极易衍生出连环犯罪:不法分子利用伪造的色情内容进行网络敲诈勒索、恶意造谣诽谤,对公众特别是未成年人的身心健康造成了毁灭性打击,严重破坏了网络空间的法治秩序。
面对技术异化带来的挑战,监管层并未缺位。我国已密集出台相关法规,为 AI 技术划定了不可逾越的红线,明确重申平台必须压实内容安全主体责任,绝不能让算法成为法外之地。
目前,中央网信办等部门正纵深推进 「清朗」 系列专项行动,将利用 AI 生成低俗色情内容列为打击重中之重。监管部门正倒逼各大平台紧急升级多模态内容识别与语义深层理解技术,彻底封堵 「提示词绕过」 等漏洞。对于敷衍塞责、风控缺位的平台,必将面临严厉的法律问责。
【TechWeb】 当生成式 AI 技术成为科技新引擎的同时,其被恶意滥用的 「暗面」 正遭遇严厉曝光。今日,央视针对多款主流生成式 AI 应用进行了深度实测调查,揭开了平台内容审核机制 「形同虚设」 的遮羞布:用户只需通过几句经过伪装的 「隐语」 提示词,便能轻易撕开风控防线,让 AI 沦为批量制造大尺度色情音视频的 「提线木偶」。

防堵机制 「防君子不防小人」,英文与暗语成绕过利器
调查揭示了当前 AI 审核系统的一个致命漏洞——「只认字面,不懂语境」。实测表明,当输入直白露骨的敏感词时,多数平台能够迅速触发拦截机制;然而,一旦将违规诉求转换为含蓄婉转的描述、掺杂英文词汇,或利用拼音缩写进行 「洗稿」,系统便会立刻 「失明」。
记者在一款知名 AI 应用中,输入从电商平台低价购得的定制化隐晦提示词,短短几分钟内,一段半裸女性跳舞的视频便被顺利生成,全程未触发任何安全警报。令人担忧的是,这种 「裸奔」 状态并非个例,而是多款头部 AI 平台普遍存在的通病。
从售卖 「通关秘籍」 到一键换脸,黑产链条分工暴利
在漏洞的背后,一条分工明确、牟利猖獗的 AI「造黄」 黑色产业链已悄然成型。调查发现,在各大社交与电商平台上,大量商家正公然倒卖所谓的 「违规提示词库」 和防封禁教程。
为了躲避国内监管,这些黑产从业者往往会将国内购得的 「秘籍」 搭配境外不受限的 AI 工具,或者指导买家在本地电脑部署开源模型进行暗网交易。更有甚者,部分付费 AI 小程序打着 「照片动起来」 的幌子,宣称只要支付几十到上百元不等的费用,仅需提供一张普通人物照片,就能利用 「一键换脸」 技术生成极具逼真感的淫秽视频。这种将先进技术直接用于突破法律与伦理底线的行径,令人触目惊心。
敲诈勒索、污染生态,「清朗」 利剑已果断出鞘
AI「造黄」 绝非无伤大雅的边缘戏码。此类乱象不仅严重污染网络精神家园,更极易衍生出连环犯罪:不法分子利用伪造的色情内容进行网络敲诈勒索、恶意造谣诽谤,对公众特别是未成年人的身心健康造成了毁灭性打击,严重破坏了网络空间的法治秩序。
面对技术异化带来的挑战,监管层并未缺位。我国已密集出台相关法规,为 AI 技术划定了不可逾越的红线,明确重申平台必须压实内容安全主体责任,绝不能让算法成为法外之地。
目前,中央网信办等部门正纵深推进 「清朗」 系列专项行动,将利用 AI 生成低俗色情内容列为打击重中之重。监管部门正倒逼各大平台紧急升级多模态内容识别与语义深层理解技术,彻底封堵 「提示词绕过」 等漏洞。对于敷衍塞责、风控缺位的平台,必将面临严厉的法律问责。







