进入操作模式
视频理解与内容提取

视频理解与内容提取

官网控制台部署
官网控制台部署

手动部署

20

https://www.aliyun.com/solution/tech-solution/information-extraction

方案概览

在视频理解与内容提取的流程中,我们使用计算资源(本方案以函数计算 FC 为例)构建的 Web 服务来接收用户的请求,在函数计算内部将视频上传到对象存储 OSS Bucket 中并获取 URL 链接,然后将链接发送至阿里云百炼应用(全妙-影视传媒视频理解)。在应用内,首先进行视频预处理以获取视频中的关键帧图片;随后该应用将调用qwen-vl-max-latest视觉模型分析视频各片段里的详细信息,从而产出内容理解的中间结果;最后再次调用qwen-max-latest文本模型,对中间结果进行文本加工并将最终结果返回给用户。

方案架构

方案提供的默认设置完成部署后在阿里云上搭建的网站运行环境如下图所示。实际部署时您可以根据资源规划修改部分设置,但最终形成的运行环境与下图相似。

image

本方案的技术架构包括以下基础设施和云服务:

  • 1个函数计算 FC 函数:用于调用阿里云百炼应用(全妙-影视传媒视频理解),进行视频理解。

  • 1个对象存储 OSS Bucket:用于存储视频。

  • 全妙-影视传媒视频理解:调用视觉模型以及文本模型实现视频理解与内容提取。

部署准备

开始部署前,请按以下指引完成账号申请、账号充值。

准备账号

  1. 如果您还没有阿里云账号,请访问阿里云账号注册页面,根据页面提示完成注册。阿里云账号是您使用云资源的付费实体,因此是部署方案的必要前提。

  2. 阿里云百炼应用(全妙-影视传媒视频理解)会根据大模型输出token总数做计量,并以后付费模式向您收取费用。

  3. 函数计算提供的试用额度(点此领取)可以完全覆盖本教程所需资源消耗。额度消耗完后按量计费,对于本教程所涉及的Web服务,只在有访问的情况下才会产生费用。

资源开通

  1. 如果您是首次访问阿里云百炼服务平台,请按照以下步骤进行开通。

    1. 登录阿里云百炼大模型服务平台

    2. 根据页面提示签署阿里云百炼服务协议,然后单击页面顶部开通服务按钮,并按照提示进行开通。

  2. 登录阿里云百炼影视传媒视频理解应用,随后点击右上角付费开通并按照提示进行开通。image

  3. 如果是首次使用函数计算,请先开通函数计算服务

    1. 登录函数计算服务控制台,根据页面提示完成开通。

    2. 开通后,登录函数计算服务控制台,完成阿里云服务授权。

    说明

    本方案推荐使用函数计算FC3.0版本,请登录函数计算服务控制台,检查页面左上角是否为函数计算FC3.0,如果不是3.0版本,可单击页面右上角体验函数计算3.0进行切换。image

部署资源

5

创建对象存储OSS Bucket

接下来您需要创建1个对象存储OSS Bucket,用于存储本方案相关资源。

  1. 登录OSS管理控制台

  2. 在左侧导航栏,选择Bucket 列表

  3. Bucket 列表页面,单击创建 Bucket

  4. 创建 Bucket面板,创建1个Bucket。

    项目

    说明

    示例值

    Bucket名称

    Bucket 命名规范:

    • 命名长度为3~63个字符。

    • 只允许小写字母、数字、短横线(-),且不能以短横线开头或结尾。

    • Bucket名称在OSS范围内必须全局唯一。

    test-bucket

    地域

    本方案以华东1(杭州)为例。

    华东1(杭州)

    存储类型

    存储类型 ,创建成功后不支持修改。本方案以标准存储为例。

    标准存储

    存储冗余类型

    选择采用多可用区(AZ)冗余机制的同城冗余存储,将用户的数据分散存放在同一地域的3个可用区。当某个可用区不可用时,仍然能够保障数据的正常访问。

    同城冗余存储

    读写权限

    设置数据访问权限。

    私有

获取百炼API Key和业务空间ID

  1. 前往阿里云百炼的密钥管理页面。

  2. API-Key 页签下,创建或查看 API Key

    重要
    1. 子账号需要通过主账号完成授权后再去创建 API Key

    2. 请不要将 API Key 以任何方式公开,避免因未经授权的使用造成安全风险或资金损失。

  3. 单击 API Key 列中的image,复制 API Key

  4. 阿里云百炼控制台首页,点击页面左下角的image图标,再点击业务空间详情,单击业务空间id 行的image,复制业务空间ID。

配置阿里云百炼业务空间权限

  1. 登录阿里云百炼大模型服务平台

  2. 点击页面右上角的image图标。

  3. 在左侧导航栏,选择账号管理,然后点击右上角新增用户

  4. 在新增用户界面,类型选择RAM角色RAM角色选择为AliyunFcDefaultRole,接着点击确定image

  5. 点击RAM角色右侧的权限管理 > 添加权限。业务空间选择默认业务空间,页面权限选择除管理员权限管理API-KeyKMS管理之外的所有权限,点击完成 > 确定完成权限配置。

    image

部署应用

5

请点击前往部署打开我们提供的函数计算应用模板,参考下表进行参数配置,然后单击创建并部署默认环境

项目

描述

示例值

部署类型

部署方式。

直接部署

应用名称

自动生成。

默认

角色名称

模板所需的角色(如果需要授权,请按照控制台提示进行授权)。

默认

地域

FC部署地域。

默认 华东1(杭州)

阿里云百炼业务空间ID

百炼业务空间ID。

部署资源中获取的阿里云百炼业务空间ID

对象存储存储桶名

下拉选择Bucket 名称。

test-bucket

RAM角色ARN

函数计算应用运行时使用的函数角色。

如果提示您当前选择的应用还需要额外一些权限,请点击复制授权链接后新开浏览器标签页,前往链接按照提示完成授权

image

方案验证

5

一、访问示例应用

  1. 应用部署完成后,您可以在环境详情环境信息中找到示例网站的访问域名。

  2. 点击访问域名,即可打开示例应用。image

二、使用官方示例,进行信息提取

  1. 在信息提取时,使用默认填写的关键词,模型会根据给出的关键词提取出对应的信息。

  2. 鼠标移动到示例1,然后单击使用该示例image

  3. 单击提取信息,视频理解与内容提取耗时较长,请等待结果返回,然后查看提取结果。image

说明

为了方便用户快速体验效果,当前应用为演示版本,体验完毕请及时释放资源。若想用于生产环境,建议下载源码:获取源码,可以进行二次开发,同时打开登录鉴权功能。

配置域名(可选)

说明

如果您仅希望体验方案,无需配置域名,可以跳过此步骤。

如果您希望将该方案部署到生产环境。需要完成以下操作:

  • 需要使用独立域名,且域名必须经过 ICP 备案。

  • 域名按照要求添加解析记录。

域名申请和备案

域名解析

申请域名后,需要配置域名解析到函数计算 CNAME,实现通过域名访问网站。

  1. 登录云解析DNS控制台

  2. 在左侧菜单栏点击解析配置>公网权威解析,在公网权威解析页面的域名列表中找到目标域名,在右侧操作列中点击解析设置

  3. 在域名解析设置页签中点击添加记录,参考以下配置添加域名解析记录,将其解析到函数计算的CNAME地址。

    配置项

    说明

    示例值

    记录类型

    选择域名指向的类型。此处选择CNAME

    CNAME

    主机记录

    根据域名前缀填写主机记录。以前面步骤申请的域名aliyunexample.com为例,您可以在输入框中填写www,代表对www.aliyunexample.com进行域名解析,您也可以在输入框中填写test,代表对test.aliyunexample.com二级域名进行域名解析。

    www

    记录值

    前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,复制公网 CNAME。

    说明

    请将顶部导航栏中的地域切换为函数应用部署的地域,本方案以杭州为例。

    公网 CNAME 值

    TTL时间

    域名的更新周期,保留默认值。

    10分钟

配置域名

前往函数计算域名管理页面,单击添加自定义域名,在添加自定义域名页面,按照以下步骤进行配置。

  1. 在基本设置区块中,填写域名值为上一步解析的域名,例如:www.aliyunexample.com

  2. 在路由设置区块,进行如下配置。

    1. 路径:请求的路径。

    2. 函数名称:下拉选择之前部署的函数

    3. 版本或别名:下拉选择LATEST

    4. 其他值默认。

  3. 点击创建

  4. 在域名管理页面的域名列表中,点击刚刚配置的域名以进行访问。

清理资源

5

测试完方案后,您可以参考以下规则处理对应产品的实例,避免继续产生费用:

  1. 删除对象存储OSS Bucket:

    登录OSS管理控制台,在左侧导航栏,选择Bucket列表,单击目标Bucket,在文件列表,选择目标文件,然后单击彻底删除(若仅使用官方示例,则无需进行目标文件删除操作)。在左侧导航栏,选择删除Bucket,然后单击删除Bucket,根据页面提示删除Bucket。

  2. 删除FC应用:

    登录函数计算控制台,在左侧导航栏,选择应用,在应用页面,找到目标应用,在其右侧操作列,单击删除应用,根据页面提示删除应用。

  3. 删除阿里云百炼 API Key

    进入 API Key 管理页面,找到目标 API Key 进行删除,删除后将无法通过该 API Key 调用阿里云百炼提供的模型。