公司动态

数字时代,如何做好内容风控?

来源:淘丁数科

数字时代,如何做好内容风控?

数字时代,每一段文字,每一张图片、每一条语音、视频,都在潜意识地影响用户的认知和价值观。

《中国互联网发展报告》显示,截至2021年6月,我国网民规模达10.11亿,互联网普及率达到71.6%,相关机构初步估计,每天生产内容的用户约在1亿。海量的大数据积累,极大地丰富了人们的精神和物质生活,但互联网内容风险和隐患越来越突出,网络内容具有即时性、海量性和多态性等特点,审核标准在各个场景中也存在差异化、动态化,内容合规治理面临巨大的挑战。

近年来监管部门为了约束内容乱象,规范内容平台运营,也在不断完善相关的法律法规,加大打击违法力度。

3月17日,国新办就2022年“清朗”系列专项行动有关情况举行发布会。2021年,国家网信办部署开展“饭圈”乱象整治、用户账号运营乱象整治等15项“清朗”系列专项行动,累计清理违法和不良信息2200万余条,处置账号13.4亿个,封禁主播7200余名,下架应用程序、小程序2160余款,关闭网站3200余家。

数字时代,如何做好内容风控?插图

内容风控安全面临内外部以及监管的多重挑战

内部挑战具体包括:

一是在业务系统的迭代上。很难全面而清晰地考虑内容风险。风险点的持续监测、垃圾内容形式的千变万化、审核标准的不断调整,都要做到事先预估和全面整理,很可能成为业务发展的阻碍因素。

二是资源投入及回报不对等。海量内容的人工审核成本较高,短期内只能看到成本投入,不能看到明显的收益和效果,导致前期请求资源得不到管理层的有效支持。

三是内容风控安全与业务目标不一致。产品和业务的目标是快速提升经营的数据指标,然而,内容风控安全的介入则会在一定程度上减缓业务达到指标的速度,所以找到内容风控安全与业务目标的平衡点,亦是需要长期探索的问题。

外部挑战具体包括:

一是黑灰产通过广告内容进行导流。黑产会发布违规广告,通过广告进行导流变现,进而进行推广、宣传、广告甚至用于欺诈。

二是多民族语言的识别要求难度高。我国民族多、语言多、文字多。互联网时代,越来越多的民族语言、文字以及风土人情展现在网络世界中。黑灰产可通过谐音、形近、表情、特殊符号、偏僻字、偏旁部首等特殊形式进行干扰,增大内容平台对民族语言的识别难度。

三是内容存在众多的变种形态。例如图片带文字的干扰、图形符号的组合、文字穿插的干扰以及分段式的广告。

监管挑战具体包括:

一是内容合规有着严格的监管要求。涉政、违禁、暴恐、色情等文字、图片、视频、音频、网页均为违禁内容。若内容平台审核过滤出现问题,将直接导致平台面临约谈、整改、罚款、下架乃至关停等监管风险。涉政类包括涉及国家领导人、负面人物、负面事件等内容;违禁类包括涉及违禁品、违法行为等内容;暴恐类包括涉及暴力、恐怖袭击等内容;色情类包括涉及色情、辱骂等内容。

二是对未成年人的保护也是内容风控安全当前主要的关注点。据共青团中央维护青少年权益部、中国互联网络信息中心(CNNIC)发布的《2020 年全国未成年人互联网使用情况研究报告》,2020年我国未成年网民规模达到1.83亿。

海量数据、深度学习算法等信息技术手段和策略为内容安全提供有效解决方案

基于海量标注数据、深度学习算法、网页抓取、自然语言处理能力等新技术,可从多维度精准识别多媒体内容中的违禁内容,如色情、暴恐等。内容风控技术主要对包含色情、涉政、暴恐、广告、垃圾信息的文本、图片、视频、语音进行检测和识别,通过系统化的方式提供审核、标注、自定义配置等能力。

目前内容安全已经广泛应用于各个行业,如社交平台、贴吧论坛、电商平台、游戏应用、直播平台等。这类平台内容量大,包括用户资料、私信聊天、商品资料、发帖回帖、留言评论、字幕弹幕、直播视频、语音聊天等场景,涉政敏感、广告、灌水、谩骂等违规信息较多,人工审核效率低,成本高,通过结合内容风控安全的机审能力,可快速提高审核效率。

内容风控安全对企业以及网络空间建设都具有重要意义——内容合规是企业良性发展的基石

对于企业自身来说,内容风控安全具备以下重要意义:

一是规避平台运营风险:满足监管合规,确保合法运营,实现有效投入。

二是提高内容审核效率:传统人审,审核量有限且审核不及时。智能审核可以达到日均审核文本图片数达百万条,接入内容风控安全可以大幅提高内容审核效率。

三是降低成本:传统的内容审核方式是人审,单人审核量有限,需要大量的人力资源审核内容,成本很高。机审可以在接入内容风控安全时过滤掉绝大多数的正常内容,人工只需审核少量内容,大幅降低成。

部分数据/资料来源:《业务安全发展洞察报告(2021年)》、网信中国

相关推荐

淘丁数科“语音数据治理”项目成功签约,亮相陕西省人工智能产业链对接会

11月4日,2026年陕西省人工智能(大数据)产业链推介招商签约互采对接会隆重召开。淘丁数科西北区商务总监陈波参与签约仪式,并与宝鸡市视频大数据运营有限责任公司完成签约,语音数据治理项目正式落地。

查看详情
公司动态

江西移动数据标注专班一行莅临淘丁数科重庆基地参观交流

10月30日,江西移动政法总监万嘉率江西移动数据标注专班一行莅临淘丁数科重庆基地参观交流。

查看详情
公司动态

淘丁数科董事长苏斌被聘请为长安区工商联第十三届高级顾问

10月30日,长安区工商联召开十二届七次常委会议。区级相关部门领导、区工商联全体常委参加会议。会上,淘丁数科董事长苏斌被聘请为长安区工商联第十三届高级顾问。

查看详情
公司动态

资阳高新区党工委委员、管委会副主任王光华一行莅临淘丁数科重庆基地

10月20日,资阳高新区党工委委员、管委会副主任王光华一行莅临淘丁数科重庆基地开展考察交流。淘丁数科西南区域总经理袁建龙、BPO交付副总经理刘丹丹、渠道专员谭佳豪陪同接待并参与座谈。 座谈会上,袁建龙详细介绍了淘丁数科的发展历程、全国基地布

查看详情
公司动态

淘丁数科受邀参与数据标注先行先试技术交流宣讲会

10月21日,由国家数据发展研究院牵头召开数据标注先行先试技术交流宣讲会。会议围绕数据标注先行先试工作的指标要求、统筹机制、多领域高质量数据集建设经验及国家数据集管理服务系统的功能与业务流程等内容展开交流, 淘丁数科受邀 参与本次会议并进行

查看详情
公司动态

杭州市上城区数据局党组书记、局长胡文进一行赴淘丁数科考察交流

10月22日,杭州市上城区数据局党组书记、局长胡文进一行赴陕西淘丁数据科技有限公司考察交流,围绕数据标注领域前沿技术、企业业务发展及数据产业应用等内容开展交流。淘丁数科董事长苏斌、高级副总裁李守仁、高级副总裁肖刚、董事长助理张俊肖陪同接待并

查看详情
公司荣誉

喜报 | 淘丁数科荣获 2026中国人工智能产业发展联盟「模数共振」优秀先锋实践

10 月 14 日,在山东济南举办的 2026 人工智能产业大会上,中国人工智能产业发展联盟(AIIA)正式公布 2026 年(第四届)人工智能先锋实践专项活动评选结果。 淘丁数科联合西北工业大学申报的“产教双向联动:AI数据标注人才培养闭

查看详情
公司荣誉

喜报|淘丁数科获 2026 西安市数据基础设施应用场景创新大赛三等奖

10月15日至16日,2026 年西安市数据基础设施应用场景创新大赛决赛暨颁奖仪式举办。 淘丁数科"AI 门诊全病程智能诊疗协同场景"项目凭借其创新的技术架构、扎实的政策合规性以及显著的应用价值,荣获三等奖。 本次大赛旨在深入贯彻党的二十届

查看详情
公司动态

德阳天府数谷服务中心一行莅临淘丁数科重庆基地调研交流

10月16日,德阳天府数谷服务中心副主任张福贵一行莅临淘丁数科重庆基地,淘丁数科西南区域总经理袁建龙,BPO交付副总经理刘丹丹,渠道专员谭佳豪陪同接待并参加座谈,双方围绕多领域数据业务落地开展深度研讨。 座谈会上,袁建龙介绍了淘丁数科在数据

查看详情
展会动态

淘丁数科AI产品总监石金龙受邀出席AIIC2026AI数据集与数据标注高质量发展论坛

2026人工智能产业大会于10月14日至16日在山东济南举行,大会由 中国信息通信研究院、山东省工业和信息化厅、济南市人民政府 联合主办,汇聚300余家国内外头部企业,是落实国家“人工智能+”行动、推动大模型技术向实体经济深度落地的重要产业

查看详情
公司动态

重庆市大数据发展局一行莅临淘丁数科重庆基地调研交流

10月12日,重庆市大数据发展局数据要素处四级调研员杨开宇、重庆市渝中区大数据局融合科干部黄俊宇一行莅临淘丁数科重庆基地,淘丁数科西南区域总经理袁建龙、渠道专员谭佳豪陪同接待并参加座谈。 座谈会上,袁建龙对来访人员一行的到来表示热烈欢迎,并

查看详情
公司动态

锦江发展集团党委书记、董事长孙涛一行莅临淘丁数科参观座谈

9月24日,锦江发展集团党委书记、董事长孙涛带队赴淘丁数科开展考察交流,淘丁数科董事长苏斌、高级副总裁李守仁、

查看详情