DreaMoving 是阿里达摩院推出的一款基于扩散模型的可控视频生成框架,专注于制作高质量的定制化人类舞蹈视频。它利用图文输入,让静态人像在指定场景中完成预设动作,实现从图像到动态视频的智能转换。该框架由阿里达摩院视觉智能实验室与多所高校联合研发,自2023年底开源以来,被视为AI视频生成领域的重要探索成果,尤其为舞蹈类内容创作提供了低门槛、高自由度的解决方案。
核心功能
- 身份控制: 支持上传单张人物图像,DreaMoving能精准保留人物面部特征和服装细节,确保生成视频中角色的身份一致性。
- 运动操纵: 通过动作序列或文本描述驱动人物运动,可生成指定舞蹈、行走等连续动作,动作流畅度接近真实拍摄。
- 视频外观控制: 允许用户通过文字或图像指定背景、光照和风格,将人物融入任意虚拟场景,实现场景与动作的分离控制。
- 扩散模型适配: 框架兼容多数风格化扩散模型,可切换写实、二次元、油画等不同视觉风格,扩展创作边界。
- 高质量输出: 针对人物动态生成进行了专项优化,减少抖动、面部模糊等常见瑕疵,输出视频分辨率与帧率满足社交媒体传播需求。
适用人群
DreaMoving 主要面向短视频创作者、舞蹈爱好者、数字内容制作团队以及AI技术研究者。典型场景包括:为社交媒体快速生成个性化舞蹈视频;制作虚拟人物表演内容用于品牌营销;在游戏或动画项目中快速预览角色动作;以及教学场景中辅助舞蹈动作示范。任何希望用最少设备完成高质量人物动画生成的人,都能从中获益。
作为阿里达摩院视频生成系列的一部分,DreaMoving 延续了该团队在I2VGen-XL、Animate Anyone等项目上的技术积累,在可控性上尤其突出——它允许用户同时控制“谁跳、怎么跳、在哪跳”三个核心变量。目前该框架已开源,并持续获得社区贡献者更新。同类工具如Pika、Runway更侧重通用视频生成,而DreaMoving在人物舞蹈这一垂直场景上表现更精细,尤其适合对身份保留和动作复用有高要求的创作者。定价方面暂未公布商业化方案,开源版本可免费使用。