使用 Amazon Rekognition 对您的 Amazon IVS 直播进行审核 机器学习博客

使用 Amazon Rekognition 进行 Amazon IVS 直播内容审核

重点总结

在本篇文章中，我们探讨了如何利用 Amazon Rekognition 实现对 Amazon IVS 直播内容的自动审核。通过将用户生成内容 (UGC) 的审查自动化，企业可以提高审核效率，降低人工干预的需求。

前言

在直播流媒体日益普及的今天，有效的内容审核显得愈加重要。用户生成内容 (UGC) 给安全性带来了复杂的挑战，许多公司依赖人工审核来监控视频流，这不仅耗时且易出错，并且随着业务增长难以扩展。因此，越来越需要一种支持人工干预 (HITL) 的自动审核解决方案。

Amazon Rekognition 内容审核，作为 Amazon Rekognition 的一项功能，能在无需机器学习 (ML) 经验的情况下，自动化并简化图像和视频审核工作流。本文将解释如何利用 Amazon Rekognition 的图像 API 来对直播流进行审核。您可以使用 AWS 云开发工具包 (AWS CDK) 将此解决方案部署到您的 AWS 账户，源代码可在我们的 GitHub 仓库 中找到。

直播流内容审核

对 UGC 直播内容的审核通常以从流中采样图像并使用图像审核技术来获得几乎实时的结果为基础。直播平台可以实施灵活的审核规则。例如，面向年轻观众的平台可能对成人内容及某些产品有严格的限制，而其他平台则可能专注于仇恨符号。这些平台制定不同的规则以有效地符合其政策。

结合人工与自动审查的混合过程是常见的设计方案，某些直播流会被自动停止，而人类审核员会评估该流是否违反平台政策并应予以停用。

以下是近实时审核系统的概念工作流图。

该工作流包含以下步骤：

直播服务或客户端应用按特定间隔从视频流中采样图像帧。规则引擎评估审核指南，决定流采样的频率及适用的审核类别。一旦检测到视频流中的违规内容，规则引擎会及时提醒人工审核员。人工审核员评估结果并决定是否停用直播流。

审核 UGC 直播流的流程与传统媒体中的视频审核存在显著不同，它需要遵循多样化的规定。图像采样频率通常由平台的信任与安全政策及服务质量协议 (SLA) 决定。例如，若直播平台希望在 3 分钟内停止违规频道，合理的策略是每 12 分钟进行一次采样，以便给予人工审核员足够的时间来确认并采取措施。

成本也是直播内容审核解决方案中的一个重要考虑因素。随着 UGC 直播平台的快速扩张，高频率审核并发流会带来成本压力。本文提出的解决方案旨在通过定义审核规则、定制采样频率、忽略相似图像帧等技术来优化成本。

将 Amazon IVS 流内容录制到 Amazon S3

Amazon IVS 提供了将直播内容 录制 到 Amazon 简单存储服务 (S3) 桶的原生解决方案，并生成缩略图，即视频流中的图像帧。默认情况下，它每 60 秒生成一次缩略图，并提供用户自定义图像质量和频率的选项。使用 AWS 管理控制台，您可以 创建录制配置 并将其链接到 Amazon IVS 频道。当录制配置与频道关联后，该频道的直播流会自动录制到指定的 S3 桶中。

使用自动录制到 Amazon S3 功能无需支付 Amazon IVS 费用，写入 Amazon S3 的操作也不收费。关于存储、API 调用及视频分发费用的详细信息，可参考 Amazon IVS 成本。

Amazon Rekognition 审核 API

在此解决方案中，利用 Amazon Rekognition DetectModerationLabel API 对 Amazon IVS 缩略图进行近实时审核。Amazon Rekognition 内容审核提供预训练 API，能够分析多种不当或冒犯性内容，例如暴力、裸露、仇恨符号等。有关 Amazon Rekognition 内容审核分类法的全面列表，请参见 内容审核。

以下代码示例展示如何在 AWS Lambda 函数中使用 Python Boto3 库调用 Amazon Rekognition DetectModerationLabel API 来审核图像：

pythonimport boto3

初始化 Amazon Rekognition 客户端对象

rekognition = boto3client(rekognition)

调用 Rekognition 图像审核 API

response = rekognitiondetectmoderationlabels( Image={S3Object {Bucket databucketName s3key}})

以下是 Amazon Rekognition 图像审核 API 的示例响应：

json{ ModerationLabels [ { Confidence 999290542602539 Name 女性泳装或内衣 ParentName 暗示性 } ] ModerationModelVersion 61}

有关 Amazon Rekognition 图像审核 API 的更多示例，请参考我们的 内容审核图像示例。

解决方案概述

该解决方案通过从 S3 桶中读取缩略图并将图像发送到 Amazon Rekognition 图像审核 API 实现与 Amazon IVS 的集成。解决方案提供暂停直播和人工审核的选择，您可以为系统配置规则，以根据条件自动停止直播流。它还包括一个轻量级的人工审核门户，使审核员能够实时监控流、管理违规警报并在必要时停止直播。

接下来简要介绍系统架构。更详细的信息，请参考 GitHub 仓库。

以下屏幕录制展示了审核员用户界面，使其能够监控活动流并进行警告管理，如停止流或忽略警告。

用户可以定制审核规则，控制每个频道的视频流采样频率，配置 Amazon Rekognition 审核类别及其置信度阈值，并启用相似性检查，确保性能和成本优化，避免处理冗余图像。

以下屏幕录制展示了全局配置管理的用户界面。

本解决方案采用微服务架构，由两个主要组件与 Amazon IVS 松耦合组成。

规则引擎

规则引擎是直播流审核系统的核心。它是一个实时处理服务，使近实时审核成为可能。利用 Amazon Rekognition 审核图像，验证结果与可定制规则，并利用图像哈希算法识别和排除相似图像。同时，此服务还可在规则违规时自动停止直播流或通知人工审核子系统。该服务通过 Amazon S3 阅读图像并助力 API 调用，整合了 Amazon API Gateway。

下图展示了近实时审核工作流架构。

触发规则引擎处理工作的有两种方法：

图像处理工作流由 AWS Step Functions 管理，包含以下几个步骤：

该设计通过 Step Functions 状态机管理规则，提供可视化的拖放界面来定义灵活的工作流。您可以扩展规则引擎，加入更多的 Step Functions 工作流。

监控与管理仪表板

监控与管理仪表板是一个 Web 应用，其用户界面使人工审核员能够监控 Amazon IVS 直播流。它提供近实时的审核警报，使审核员可以停止流或者忽略警告。该网页门户还使管理员能够管理规则引擎的审核规则。系统支持两种类型的配置：

该系统是一个无服务器的 web 应用，包含一个托管在 Amazon S3 上的静态 React 前端，并通过 Amazon CloudFront 进行缓存。身份验证通过 Amazon Cognito 实现，数据通过 API 网关和 Lambda 提供，状态存储在 Amazon DynamoDB 中。以下图示展示了这一架构。

监控仪表板是一个轻量级的演示应用，提供了审核员所需的基本功能。若需增强功能，您可以扩展实现以支持多个审核员管理系统，并通过实现 WebSockets 的推送机制降低延迟。

审核延迟

该解决方案设计为近实时审核，其延迟在两个独立的子系统中进行测量：

扩展解决方案

本篇文章聚焦于直播流的视觉内容审核。然而，解决方案具有灵活性，能够容纳复杂的业务规则，还可以扩展支持其他媒体类型，包括直播中的聊天消息和音频审核。您可以通过引入新的 Step Functions 状态机工作流及上游分发逻辑来增强规则引擎。在后续的文章中，我们将深入探讨使用 AWS AI 服务执行直播流文本和音频审核的内容。

总结

在本文中，我们提供了一个示例解决方案的概述，展示了如何利用 Amazon Rekognition 对 Amazon IVS 直播视频进行审核。您可以通过遵循我们在 GitHub 仓库 中的说明，体验该示例应用并将其部署到您的 AWS 账户中。

了解有关 AWS 内容审核 的更多信息。迈出实现 内容审核操作优化的第一步。

作者信息

Lana Zhang 是 AWS WWSO AI 服务团队的高级解决方案架构师，专注于内容审核、计算机视觉、自然语言处理和生成性 AI 的 AI 和 ML。凭借她的专业知识，她致力于推动 AWS AI/ML 解决方案并协助客户在社交媒体、游戏、电子商务、媒体、广告与市场等多个行业转型其商业解决方案。

Tony Vu 是 Twitch 的高级合作工程师，他专注于评估合作伙伴技术与 Amazon 互动视频服务 (IVS) 的集成，旨在为我们的 IVS 客户开发和提供全面的联合解决方案。