简介

图像内容理解，即采用图像理解视觉大模型，可多维度识别与理解图片内容，包括人、物、行为、场景、文字等，支持输出对图片内容的一句话描述，同时返回图片的分类标签、文字内容等信息。主要功能包括：

1. 图片理解与内容描述
   多维度理解图片内容，支持输出对图片内容的一句话描述，结合大语言模型，可应用于看图问答、视觉推理等场景。

2. 物体和场景全识别
   识别动物、植物、商品、建筑、风景、动漫、食材、公众人物等10万个常见物体及场景，支持拼接返回大类及细分类名称。

3. 图片文字全识别
   检测并识别图片内的全部文字信息，涵盖文档、证件等常见场景，支持输出文字内容及文字位置。

API介绍

图像内容理解服务涉及 2 个接口，分别为：

图像内容理解-提交请求：支持传入图片、提问等参数，创建图像内容理解任务，该接口会返回任务ID。
图像内容理解-获取结果：在任务成功创建后，支持传入任务ID，查看任务处理的状态、获取处理完成后返回的结果。

详细说明请参考此处

提交请求

请求参数

• image、url 必须提供一个，优先级：url > base64。大小不超过10M，最短边至少64px，最长边最大8192px，图片格式支持jpg/jpeg/png格式。超过4096px的图片，将被自动等比例压缩至4096px进行处理，压缩后会影响处理效果

返回样例

{
  "code": 200,// 返回码，详见返回码说明
  "msg": "成功",// 返回码对应描述
  "taskNo": "043439882226367117195632",// 本次请求号
  "data": {
    "taskId": "xxxx" //用于获取结果
  }
}

获取结果

请求参数

返回样例

{
  "code": 200,//返回码，详见返回码说明
  "msg": "成功",//返回码对应描述
  "taskNo": "571436032193067500962066",//本次请求号
  "data": {
    "resultCode": "0",//任务状态，0：处理成功；1：处理中
    "description": "这张图里面有：\n\n1. 一个人正在讲台上讲话， xxxxxx",//针对输入的 question 问题，对图片内容进行分析后输出的答案
    "resultMsg": "处理成功" //任务状态描述
  }
}