机器之心报道

智谱大模型团队自研打造。

自从全球范围内快手可灵AI变得异常火爆, 国内视频生成这一领域, 竟如同2023年那备受瞩目的文本大模型一样, 在竞争程度上呈现出越来越好卷的态势了。

就在此时, 又一款号称视频生成的凭借大模型技术的产品宣告正式上线了: 智谱AI其正式发布了名为「清影」的产品存在。只要你是拥有了不错的创意的, 不过是从几个简短文字到几百个文字的范畴, 再加上投入一点点耐心的, 就是仅仅30秒的时长, 「清影」它便能够生成清晰度达到1440x960的具备高精度性的视频了。

视频链接：

https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA

如今开始, 清影推出清言App, 任何用户都能够从各个角度体验对话、图片、视频、代码以及Agent生成这些功能。不但涵盖智谱清言的网页端与App, 你还能够在「AI动态照片小程序」那儿开展操作, 迅速给手机中的照片达成动态效果。

时长为6秒的视频, 是由智谱「清影」生成的, 其清晰度达1440×960, 并且所有用户都能够免费使用。

智谱AI称, 因技术持续发展, 很快「清影」的生成能力便可用于短视频制作工作、广告生成工作以及电影剪辑等工作之中。

对该句子理解如下: 在生成式AI视频模型开展研发期间, Scaling Law持续于算法和数据这两方面起到作用。在智谱Open Day那次活动上, 智谱AI的CEO张鹏宣称: “我们踊跃在模型层面探寻更为高效的scaling方式。”他还讲道: “伴随算法、数据持续进行迭代, 坚信Scaling Law会继续发挥出强有力的作用。”。

拿捏各种风格

看看当前存在的某些 Demo, 再结合一下简单试用的状况来看, 智谱 AI 的那个「清影」有着像下面这样的特点:

它能够实现文字生成视频, 它还能够完成图生视频, 所生成的风格涵盖奇幻动画风格。

文生视频

镜头以低角度向上推进, 你缓缓地抬起脑袋, 一座冰山上猛地出现了一条恶龙, 紧接着, 那条恶龙发觉到了你, 朝着你快速地猛冲而来。

有一个法师, 正在海浪里施展法术, 宝石把海水都聚集起来, 打开了一道魔法传送门。

提示词：蘑菇变成小熊。

到真实景物：

森林里, 人的视线范围内, 参天大树把太阳给遮蔽了, 树叶间的缝隙有阳光洒下, 这之中存在丁达尔效应。

一只水豚鼠, 呈现出如人般站立的姿态, 其手中握着冰激凌, 而后满心欢喜地吃起来。

图生视频

除文本生成视频一事外, 还能够前往清影去玩图片生成视频。图生视频带来得多的是新玩法, 诸如表情包梗图以及广告制做, 还涵盖剧情编成、短视频制作等等。与此同时, 基于清影的「老照片动起来」小程序会同期上线, 仅需一步去上传老照片, AI就能让凝聚于旧光阴里的照片变得灵动起来。

提示词：一条自由移动的七彩鱼。

提示词：图中男子站起来亚星会员登录，风吹着他的头发。

提示词：小黄鸭玩具漂浮在游泳池的水面，特写。

再到现代艺术：

位于一个布景于纽约博物馆大型画廊里的地方, 有一大堆老式电视, 每一台电视都播放着不一样的节目, 像是专门播放20世纪50年代科幻电影的、播放恐怖电影的、播放新闻的、播放静态画面的、播放70年代情景喜剧的, 有一台摄像机围绕着这一大堆老式电视在不停旋转。

提示词：掏出一个苹果手机拍照。

无提示词。

你常用的表情包亚星APP开户，智谱 AI 能把它延长成「连续剧」。

提示词：师徒四人伸出手互相击掌，脸上是困惑的表情。

视频链接：

https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA

提示词：小猫张大了嘴，脸上是困惑表情，很多问号。

视频链接：

https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA

不难发现, 清影对于各类风格均能够予以把握, 并且存在更多玩法有待人们去挖掘。仅仅需在智谱清言PC或者APP上, 点击「清影智能体」功能, 便能够使你的每一个创意在刹那间变为实际情况。

全自研技术

部署多模态生成式 AI 模型的智谱 AI, 很早就开始 All in 了, 自 2021 年起, 智谱 AI 先后发布了多项研究, 其中包括 CogView（NeurIPS’21）、CogView2（NeurIPS’22）、CogVideo（ICLR’23）、Relay Diffusion（ICLR’24）、CogView3 （2024）。

据悉, “清影”是借助智谱AI大模型团队自行研发塑造的新一代视频生成大模型CogVideoX而得以存在的。

在去年的11月, 那个团队以文生图模型CogView2为基础, 打造起来文字转化为视频的生成模型CogVideo, 紧接着就把它给开源了。

CogVideo 具备 94 亿参数, 它借助 CogView2 生成一连串初始帧, 依靠基于双向注意力模型针对图像实施插帧的具体方式达成视频生成。另外, CogVideo 根据文本描述打造 3D 环境, 能够直接运用预训练模型, 规避了高昂的训练, 它还支持中文的 Prompt 输入。

此次清影底座的视频生成模型为 CogVideoX, 它可把文本、时间、空间这三个维度予以融合, 参照了 Sora 的算法设计, 此亦为一个 DiT 架构, 经优化后, CogVideoX 相较于前代（CogVideo）, 推理速度提高了 6 倍。

以 OpenAI 推出的 Sora 为标志, AI 在视频生成领域有了明显进步, 然而免费视频生成亚星会员开户(官网)免费视频生成神器清影上线，30秒做出高清大片亚星手机版登录，多数模型在产出具备连贯性以及逻辑一致性的视频内容阶段, 依旧面临着困难, 有问题存在哦。

为了处理这些难题, 智谱AI自行研发了一个具备高效特性的三维变分自编码器结构，也就是3D VAE, 它能够把原本的视频空间最大限度地压缩至2%, 这致使模型训练的成本显著降低, 同时训练的难度也大幅度降低了。

首先将自编码器内常被使用的注意力模块去除, 从而让模型拥有不同分辨率迁移运用的本事。接着, 模型结构把因果三维卷积当作主要模型部件来采用, 就是因果三维卷积（Causal 3D convolution）呐。

与此同时, 于时间维度当中, 因果卷积致使模型视频编解码拥有从前往后的序列独立性, 这有益于借由微调把模型拓展至更高帧率以及更长时间的场景。

此外, 视频生成存在一个问题, 视频数据多数缺少对应的描述性文本, 或者描述的质量很低, 针对此情况, 智谱AI自主研发了一个端到端的视频理解模型, 用来为大量的视频数据生成详尽的、契合内容的描述, 从而构建大量高质量的视频文本对, 让训练出来的模型指令遵循程度高。

最后, 有一点值得提及, 智谱AI自主研发出了一个transformer架构, 此架构把文本、时间以及空间融合到了一起, 该架构并未运用传统的cross attention模块, 而是在输入阶段的时候, 就把文本嵌入与视频嵌入连接起来, 目的是能够更充分地开展两种模态之间的交互。

然而, 文本特征空间与视频特征空间存在着极为显著的差异, 智谱AI运用expert adaptive layernorm针对这两者各自开展处理工作, 如此一来, 便能够让模型以高效形式利用参数, 从而更为出色地达成视觉信息与语义信息的对齐状态。

智谱AI宣称, 借助优化技术, 智谱AI生成式视频模型的推理速度提高至以往的6倍。当下要生成时长为6s的视频, 按照模型来算所需的理论时间是30秒钟。

现今伴随「清影」的登场, 视频生成的赛道之中, 又现出了智谱AI这一具有重大影响力的参与者。

清影 API 同步上线大模型开放平台 bigmodel.cn, 除了有那些人人都能够尝试的应用之外, 企业以及开发者可借助调用 API 的途径, 去体验并使用文生视频和图生视频的模型能力。

伴随着诸多公司AI视频生成功能持续上线, 今年生成式AI竞赛步入白热化状态。对多数用户而言, 选择增多: 当下, 不管是毫无视频制作基础之人, 还是专业内容创作者, 均可借助大模型能力达成视频创作。