华为云内容审核 Moderation的感知力—AI是如何代替人工审核直播及弹幕
云服务、API、SDK,调试,查看,我都行
阅读短文您可以学习到:人工智能AI之Moderation的直播审核、文本审核、清晰度检测、供应链扭曲矫正
1 Classroom和Toolkit的关系
1.1 Classroom的简介
classroom是基于华为云的云上软件教学服务,支持初级开发者和高校师生实现备课、上课、作业、考试、实验、实训等全教学流程的线上教学,提供多类习题自动判题、企业级DevOps实训、免费在线习题库等众多高级特性辅助进行数字化教学转型。
1.2 Toolkit插件之华为云API实战课程
2 IntelliJ IDEA 之API插件介绍
API插件支持 VS Code IDE、IntelliJ IDEA等平台、以及华为云自研 CodeArts IDE,基于华为云服务提供的能力,帮助开发者更高效、便捷的搭建应用。API插件关联华为云服务下的 API Explorer、DevStar、CodeLabs、SDK 中心和 CLI 中心产品,致力于为开发者提供更稳定、快速、安全的编程体验。
在本插件中,我们提供了但不局限于如下的功能:
对接华为云API开放平台,支持用户检索API、查看API文档、调试API、以及提供SDK示例代码供用户学习如何使用API。
提供华为云SDK代码片段补全功能,SDK依赖包自动引入,加速用户集成华为云API。
对接华为云开发体验馆Codelabs,提供500+云服务代码示例,向导式教程帮助用户快速学习。
说明:
在IntelliJ IDEA等系列平台和VS Code IDE,华为云API插件的名称是Huawei Cloud API。而在CodeArts IDE,API插件是IDE原生内置的,名称是华为云API开发套件。
API插件在IntelliJ IDEA等系列平台和VS Code IDE的使用依赖底座插件,请提前安装底座插件。
3 API插件安装--IntelliJ IDEA
3.1 IntelliJ IDEA等平台
安装准备:下载并安装JDK1.8或更高版本。下载并安装IntelliJ IDEA 2020.2或更高版本。
须知:IntellIj平台同时支撑包括Goland、Pycharm等在内的IDE,若在其它相关IDE上开发,请下载配置好对应语言的编译器或者解释器。这里以IDEA为例介绍IntelliJ平台插件的安装流程,其他IntelliJ系列的IDE请参考IDEA。
开始安装:
您可以在直接在IDE插件市场或者直接在JetBrains插件市场下载离线包安装。
IDE安装
- 在IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins。
- Plugins区域单击Marketplace,在搜索栏中输入Huawei Cloud API。
- Search Results区域会出现Huawei Cloud API,单击Install,完成后重启IDE。
离线包安装:
- 进入插件市场搜索Huawei Cloud API,进入插件详情页,在Versions页签下选择想要版本的API插件,点击Download下载离线的插件压缩包保存到本地。。
- 在IntelliJ IDEA顶部菜单栏中选择File > Settings,在Settings对话框的左侧导航栏中单击Plugins。
- 在Plugins区域单击 ,再单击Install Plugin from Disk...。
- 在Choose Plugin File对话框中选择离线安装包(不用解压),并按照IntelliJ IDEA安装页面的提示,完成后续安装步骤。
说明:若当前您想要安装插件的IntelliJ IDE已经在桌面打开,则进入插件市场搜索Huawei Cloud API,进入插件详情页,在右上角会识别到本地已经打开的IDE,点击相应按钮,在弹出的IDE窗口中点击ok,则IDE后台会开始安装相应版本的API插件。
安装验证:在IntelliJ系列平台上安装插件成功后在左侧的导航栏中可以看到Huawei Cloud Toolkit图标,点击后面板会出现Huawei Cloud API的字样,则说明安装成功。
3.2 API列表
左侧展示API列表,可以查询所有API,目前云服务206,APIs9213
4 AI视频直播审核
4.1 AI视频直播审核
内容审核软件开发工具包(Content Moderation Software Development Kit,简称Moderation SDK)是对内容审核提供的REST API进行的封装,以简化用户的开发工作。用户通过添加依赖或下载的方式调用API即可实现使用内容审核业务能力的目的。
该示例展示了如何通过java版SDK实现图像内容审核。
申请内容审核服务的具体操作步骤请参见《内容审核API参考》的“如何调用API > 申请服务”章节。https://support.huaweicloud.com/api-moderation/moderation_03_0013.html
获取AK/SK
开发者在使用前需先获取账号的ak、sk、endpoint。
您需要拥有华为云账号以及该账号对应的 Access Key(AK)和 Secret Access Key(SK)。请在华为云控制台“我的凭证-访问密钥”页面上创建和查看您的 AK/SK。更多信息请查看访问密钥。
endpoint 华为云各服务应用区域和各服务的终端节点,详情请查看地区和终端节点。
运行环境
Java JDK 1.8 及其以上版本,推荐通过Maven 安装依赖的方式使用JAVA版本SDK。
SDK获取和安装
在Maven 项目的 pom.xml 文件加入相应版本的依赖项即可。
以引入3.0.55版本的内容审核SDK为例:
<dependency>
<groupId>com.huaweicloud.sdk</groupId>
<artifactId>huaweicloud-sdk-moderation</artifactId>
<version>3.0.50</version>
</dependency>
示例代码因需要输出结果更直观,所以新增fastjson的依赖(如接入不涉及此项,可忽略并在示例代码中删除相关内容),依赖如下:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.70</version>
</dependency>
示例代码
图像内容审核示例代码只需将AK/SK信息替换为实际AK/SK,代码中可以使用ImageDetectionReq类的withUrl或withImage方法配置图像信息(image和url参数二选一),示例中以url为例配置完成后运行即可。
import com.alibaba.fastjson.JSON;
import com.huaweicloud.sdk.core.auth.ICredential;
import com.huaweicloud.sdk.core.auth.BasicCredentials;
import com.huaweicloud.sdk.core.exception.ConnectionException;
import com.huaweicloud.sdk.core.exception.RequestTimeoutException;
import com.huaweicloud.sdk.core.exception.ServiceResponseException;
import com.huaweicloud.sdk.moderation.v2.ModerationClient;
import com.huaweicloud.sdk.moderation.v2.region.ModerationRegion;
import com.huaweicloud.sdk.moderation.v2.model.RunImageModerationRequest;
import com.huaweicloud.sdk.moderation.v2.model.ImageDetectionReq;
import com.huaweicloud.sdk.moderation.v2.model.RunImageModerationResponse;
import java.util.List;
import java.util.ArrayList;
public class ImageModerationDemo {
public static void main(String[] args) {
String ak = "<YOUR AK>";
String sk = "<YOUR SK>";
ICredential auth = new BasicCredentials()
.withAk(ak)
.withSk(sk);
ModerationClient client = ModerationClient.newBuilder()
.withCredential(auth)
.withRegion(ModerationRegion.valueOf("cn-north-4"))
.build();
RunImageModerationRequest request = new RunImageModerationRequest();
ImageDetectionReq body = new ImageDetectionReq();
List<ImageDetectionReq.CategoriesEnum> listbodyCategories = new ArrayList<>();
listbodyCategories.add(ImageDetectionReq.CategoriesEnum.fromValue("politics"));
listbodyCategories.add(ImageDetectionReq.CategoriesEnum.fromValue("terrorism"));
listbodyCategories.add(ImageDetectionReq.CategoriesEnum.fromValue("porn"));
body.withCategories(listbodyCategories);
body.withModerationRule("default");
body.withUrl("https://sdk-obs-source-save.obs.cn-north-4.myhuaweicloud.com/terrorism.jpg");
request.withBody(body);
try {
RunImageModerationResponse response = client.runImageModeration(request);
System.out.println(response.getHttpStatusCode());
System.out.println(JSON.toJSONString(response));
} catch (ConnectionException e) {
e.printStackTrace();
} catch (RequestTimeoutException e) {
e.printStackTrace();
} catch (ServiceResponseException e) {
e.printStackTrace();
System.out.println(e.getHttpStatusCode());
System.out.println(e.getErrorCode());
System.out.println(e.getErrorMsg());
}
}
}
4.2 其他场景
- 视频直播
在互动直播场景中,成千上万个房间并发直播,人工审核直播内容几乎不可能。基于图像审核能力,可对所有房间内容实时监控,识别可疑房间并进行预警。
场景优势如下:
准确率高:基于改进的深度学习算法,检测准确率高。
响应速度快:视频直播响应速度小于0.1秒。
2.在线商城
智能审核商家/用户上传图像,高效识别并预警不合规图片,防止涉黄、涉暴类图像发布,降低人工审核成本和业务违规风险。
场景优势如下:
准确率高:基于改进的深度学习算法,检测准确率高。
响应速度快:单张图像识别速度小于0.1秒。
3.网站论坛
不合规图片的识别和处理是用户原创内容(UGC)类网站的重点工作,基于内容审核,可以识别并预警用户上传的不合规图片,帮助客户快速定位处理,降低业务违规风险。
场景优势如下:
准确率高:基于改进的深度学习算法,检测准确率高。
响应速度快:单张图像识别速度小于0.1秒。
5 AI文本内容审核
5.1 AI视频评论/弹幕审核
运行环境
Java JDK 1.8 及其以上版本,推荐通过Maven 安装依赖的方式使用JAVA版本SDK。
SDK获取和安装
在Maven 项目的 pom.xml 文件加入相应版本的依赖项即可。
以引入3.0.55版本的内容审核SDK为例:
<dependency>
<groupId>com.huaweicloud.sdk</groupId>
<artifactId>huaweicloud-sdk-moderation</artifactId>
<version>3.0.50</version>
</dependency>
示例代码因需要输出结果更直观,所以新增fastjson的依赖(如接入不涉及此项,可忽略并在示例代码中删除相关内容),依赖如下:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.70</version>
</dependency>
示例代码
文本内容审核示例代码只需将AK/SK信息替换为实际AK/SK,代码中可以使用TextDetectionItemsReq类的withText方法配置待检测的文本信息,配置完成后运行即可。
import com.alibaba.fastjson.JSON;
import com.huaweicloud.sdk.core.auth.ICredential;
import com.huaweicloud.sdk.core.auth.BasicCredentials;
import com.huaweicloud.sdk.core.exception.ConnectionException;
import com.huaweicloud.sdk.core.exception.RequestTimeoutException;
import com.huaweicloud.sdk.core.exception.ServiceResponseException;
import com.huaweicloud.sdk.moderation.v2.ModerationClient;
import com.huaweicloud.sdk.moderation.v2.region.ModerationRegion;
import com.huaweicloud.sdk.moderation.v2.model.RunTextModerationResponse;
import com.huaweicloud.sdk.moderation.v2.model.TextDetectionReq;
import com.huaweicloud.sdk.moderation.v2.model.RunTextModerationRequest;
import com.huaweicloud.sdk.moderation.v2.model.TextDetectionItemsReq;
import java.util.List;
import java.util.ArrayList;
public class TextModerationDemo {
public static void main(String[] args) {
String ak = "<YOUR AK>";
String sk = "<YOUR SK>";
ICredential auth = new BasicCredentials()
.withAk(ak)
.withSk(sk);
ModerationClient client = ModerationClient.newBuilder()
.withCredential(auth)
.withRegion(ModerationRegion.valueOf("cn-north-4"))
.build();
RunTextModerationRequest request = new RunTextModerationRequest();
TextDetectionReq body = new TextDetectionReq();
List<TextDetectionItemsReq> listbodyItems = new ArrayList<>();
listbodyItems.add(
new TextDetectionItemsReq()
.withText("666666luo聊请+110亚砷酸钾六位qqweixin,fuck666666666666666")
.withType("content")
);
List<String> listbodyCategories = new ArrayList<>();
listbodyCategories.add("ad");
listbodyCategories.add("politics");
listbodyCategories.add("abuse");
listbodyCategories.add("porn");
listbodyCategories.add("contraband");
listbodyCategories.add("flood");
body.withItems(listbodyItems);
body.withCategories(listbodyCategories);
request.withBody(body);
try {
RunTextModerationResponse response = client.runTextModeration(request);
System.out.println(response.getHttpStatusCode());
System.out.println(JSON.toJSON(response));
} catch (ConnectionException e) {
e.printStackTrace();
} catch (RequestTimeoutException e) {
e.printStackTrace();
} catch (ServiceResponseException e) {
e.printStackTrace();
System.out.println(e.getHttpStatusCode());
System.out.println(e.getErrorCode());
System.out.println(e.getErrorMsg());
}
}
}
5.2 其他场景
内容审核-文本有以下应用场景:
- 电商评论筛查
审核电商网站产品评论,智能识别有色情、灌水等违规评论,保证良好用户体验。
场景优势如下:
准确率高:基于改进的深度学习算法,检测准确率高。
响应速度快:响应速度小于0.1秒。
2.注册昵称审核
对网站的用户注册信息进行智能审核,过滤包含广告、反动、色情等内容的用户昵称。
场景优势如下:
准确率高:基于改进的深度学习算法,检测准确率高。
响应速度快:响应速度小于0.1秒。
3.媒资内容审核
自动识别媒资中可能存在的违禁品等信息,避免已发布的文章存在违规风险。
场景优势如下:
快速迭代:持续快速的迭代文本词库,及时识别新型不合规内容。
处理速度快:处理速度小于0.1秒。
4.弹幕审核
实时检测弹幕文本、保证网络直播间内容安全,降低业务违规风险。
场景优势如下:
海量词库:内置海量词库,支持各种匹配规则。
快速迭代:持续快速的迭代文本词库,及时识别新型不合规内容。
5.聊天内容实时审核
实时检测游戏等文本聊天内容中可能出现的违规信息,避免辱骂、色情、反动等文本内容,净化网络环境。
场景优势如下:
海量词库:内置海量词库,支持各种匹配规则。
响应速度快:响应速度小于0.1秒。
6 AI音频/视频/审核
6.1 音频场景
内容审核-音频有以下应用场景:
- 在线教育
监测在线教育中有声教学内容,智能审核音频中的涉黄、涉暴、辱骂、广告等违规场景。
场景优势如下:
准确率高:基于改进的深度学习算法,基于复杂环境语音审核准确率高。
支持特殊声音识别:支持特殊声音识别模型,如娇喘、呻吟、敏感声纹等。
2.游戏/社交语音
监测游戏APP / 社交APP中的聊天内容以及语音动态,降低业务违规风险。
场景优势如下:
准确率高:基于改进的深度学习算法,基于复杂环境语音审核准确率高。
支持特殊声音识别:支持特殊声音识别模型,如娇喘、呻吟、敏感声纹等。
3.录播/电台语音
监测监测内容传播类 / FM电台类音频数据,降低业务违规风险。
场景优势如下:
准确率高:基于改进的深度学习算法,基于复杂环境语音审核准确率高。
支持特殊声音识别:支持特殊声音识别模型,如娇喘、呻吟、敏感声纹等。
6.2 视频场景
内容审核-视频有以下应用场景:
视频平台/社区:精准识别平台上的违规视频内容,帮助平台规避内容风险:
- 360度全方位检测:提供多模态综合审核方案,对视频内容中的画面、声音、文字进行全方位解析。
支持类型广:支持多种视频文件格式:AVI、FLV、MP4、MPG、WMV、MOV、RMVB、M3U8等
视频聊天:精准识别和拦截社交/即时通讯场景下的色情、辱骂、暴恐、广告导流等违规内容:
2.360度全方位检测:提供多模态综合审核方案,对视频内容中的画面、声音、文字进行全方位解析。
支持类型广:支持多种视频文件格式:AVI、FLV、MP4、MPG、WMV、MOV、RMVB、M3U8等
在线教育:精准识别和拦截线上教学、互动、录播课程中的违规内容,保障用户尤其是未成年人的身心健康:
3.360度全方位检测:提供多模态综合审核方案,对视频内容中的画面、声音、文字进行全方位解析。
支持类型广:支持多种视频文件格式:AVI、FLV、MP4、MPG、WMV、MOV、RMVB、M3U8等。
6.3 清晰度检测
清晰度检测有以下应用场景:
- 企业表单验证
基于图像清晰度检测技术,对于企业上传的数据表单,自动对图像的清晰度进行判断并量化,减少二次上传,降低人工成本。
场景优势如下:
准确率高:准确检测图像清晰度,并进行量化。
提升企业效率:对模糊的数据表单自动检测,减少人工复查,提升工作效率。
2.电商评论论坛
对于用户卖家上传的图像评论通过图像的清晰度进行智能化过滤,自动对图像的清晰度进行判断预测并量化,禁止上传模糊图像。
场景优势如下:
保证评论真实性:对用户上传的图片进行审核,保证图片清晰可见,提升评论真实性。
提升用户信誉:禁止用户上传模糊图像,保证真实性,进一步提升用户信誉。
3.交友APP
对于用户上传的头像图像进行清晰度检测,禁止用户上传模糊图像,提升用户体验。
场景优势如下:
保证用户真实性:禁止用户上传难以识别的模糊头像,保证用户真实性。
提升交友体验:提供真实可靠的头像,提升用户交友体验。
6.4 扭曲校正
扭曲校正有以下应用场景:
供应链系统
对供应链系统中每个环节的电子表单,利用图像处理技术进行扭曲识别和自动校正,使表单信息更加清晰。
场景优势如下:
提升效率:对扭曲的电子表单进行裁边、校正,方便处理表单信息,提升工作效率。
7 体验插件课程
https://classroom.devcloud.huaweicloud.com/MOOCCourseStudy/join/ef4ebc3dbaa246ff995f75022cac8cb9
识别下方二维码立即体验
- 点赞
- 收藏
- 关注作者
评论(0)