《电子技术应用》
您所在的位置:首页 > 人工智能 > 业界动态 > 昆仑万维开源视频生成模型SkyReels-V1

昆仑万维开源视频生成模型SkyReels-V1

国内首个面向AI短剧创作的视频生成模型
2025-02-18
来源:IT之家

2 月 18 日消息,昆仑万维今日宣布开源国内首个面向 AI 短剧创作的视频生成模型 SkyReels-V1、国内首个 SOTA 级别基于视频基座模型的表情动作可控算法 SkyReels-A1。


昆仑万维官方介绍称,SkyReels-V1 针对表演细节做了打标,还对情绪、场景、表演诉求等进行处理,利用“千万级别、高质量”的好莱坞级别数据进行训练微调。


此外,SkyReels-V1 可实现“影视级人物微表情表演生成”,支持 33 种人物表情与 400 + 种自然动作组合,还原真人情感表达,支持生成大笑、怒吼、惊讶、哭泣等微表情。

基于好莱坞级的影视数据训练,当前 SkyReels 生成的每一帧画面,在构图、演员站位、相机角度等号称都具备“电影级的质感”。


SkyReels-V1 不仅支持文生视频,还支持图生视频,号称是“开源视频生成模型中参数最大的支持图生视频的模型”,在同等分辨率下各项指标实现开源 SOTA。

0.png

总结来看,SkyReels-V1 可以实现:

影视化表情识别体系:11 种针对影视戏剧中的人物表情理解,如不屑、不耐烦、无助、厌恶等表情的理解;

人物空间位置感知:基于人体三维重建技术,实现对视频中多人的空间相对关系理解,助力模型生成影视级人物站位;

行为意图理解:构建超过 400 种行为语义单元,实现对人物行为的精准理解;

表演场景理解:实现人物-服装-场景-剧情的关联分析。

性能方面,在自研推理优化框架「SkyReels-Infer」的加持下,该模型可实现 544p 分辨率,推理基于单台 4090 用时 80s,还支持分布式多卡并行,支持 Context Parallel,CFG Parallel,和 VAE Parallel。

此外,模型采取 fp8 quantization 以及 parameter-level offload,满足低显存用户级显卡运行需求;支持 flash attention、SageAttention,模型编译优化等,进一步优化延迟;基于开源 diffuser 库,提升易用性。

为了实现更加精准可控的人物视频生成,昆仑万维还开源了 SOTA 级别的基于视频基座模型的表情动作可控算法 SkyReels-A1,对标 Runway 的 Act-One,SkyReels-A1 支持视频驱动的电影级表情捕捉。

SkyReels-A1 能够基于任意人体比例(包括肖像、半身及全身构图)生成人物动态视频。


Magazine.Subscription.jpg

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。