基于人工智能的软件可以屏蔽直播图形内容

互联网观察基金会(Internet Watch Foundation)是一家旨在让网上儿童性侵内容尽可能无法访问的慈善机构，该基金会去年采取行动的儿童性侵内容中，29%是自行生成的，而且这一比例急剧上升。这表明，防止儿童创建、发送或接收图形内容的软件可能是有价值的保护工具。

英国初创企业SafeToNet正在开发这款软件，它可以安装在儿童手机上，在“造成任何损害”之前，检测和屏蔽含有性或暴力图像的图像内容。社交媒体公司也可以使用它来防止图片内容的上传和分享，比如打断暴力直播。

该软件(“SafeToWatch”)逐帧分析视频内容以评估其风险，并使用机器学习算法识别高风险图像。它还被训练来检测卡通形式的图形内容，并将被训练来识别血腥、武器和极端暴力。

SafeToNet尚未决定一旦检测到威胁应该采取什么措施，但选项可能包括锁定设备一段时间，阻止用于拍摄的应用程序，或阻止手机的摄像头。

在对数百万张图片和视频进行的初步分析中，该软件检测出92%涉及裸体的内容和84%的暴力内容。11月，将有2000个家庭开始测试该软件，该初创公司计划在2021年年中发布。

据PA News报道，该软件可以被广播公司用于屏蔽记者在报道现场事件时可能出现在画面中的意外暴力内容，也可以被视频会议公司用于过滤直播。

SafeToNet首席执行官理查德·珀西告诉PA新闻，这项技术可以帮助防止诱骗、欺凌和性剥削，以免为时已晚。

珀西说:“你没有必要被告知昨天你12岁的儿子发了一张他自己的裸照，因为你知道，已经太晚了，你挤了那管牙膏，膏体已经出来了，你不能再把它塞进去。”“检测和分析实时视频捕捉的能力，然后在检测到风险时采取措施，对我们来说这是开创性的，我们不知道世界上还有哪家公司做到了这一点。”

互联网观察基金会副总裁弗雷德·兰福德告诉PA News，在销售点，像这样的软件“绝对”应该预装在所有儿童设备上。

“一切都在向终端设备发展，这款软件将自己定位在了一个完美的位置。从我在示威活动中看到的情况来看，它绝对可以阻止任何人在手机上查看潜在的非法内容，也可以阻止任何人拍摄这些照片并将其上传到其他任何地方。”“另一方面，人们可以在另一方面运行它，以衡量人们在上传内容方面的行为。”

他补充说，像这样的工具可以帮助版主最大限度地减少接触伤害性内容的机会这会对他们的心理健康产生严重影响．

下政府提出的网络危害立法在美国，社交媒体公司将被赋予对用户的法定注意义务，迫使他们更主动地删除恐怖主义宣传和直播自杀等有害内容。Facebook和其他社交媒体公司倾向于结合使用人工内容审核员来审查被标记的内容和自动内容审核工具。