StereoCrafter 是由腾讯 AI Lab 与腾讯 PCG 的 ARC Lab 联合推出的开源框架,专注于将单目 2D 视频转换为高保真度的立体 3D 视频。该框架通过深度估计、视频 splatting 和立体视频修复三个核心步骤,实现了从二维到三维的平滑转换,满足影视制作、虚拟现实、游戏开发等场景对沉浸式内容持续增长的需求。作为一款完全开源的工具,StereoCrafter 降低了 3D 内容生产的门槛,让普通视频创作者也能快速产出立体视频。
核心功能
- 深度视频重构: 利用单目深度估计模型为每一帧生成精准的深度图,为后续立体化提供基础空间信息。
- 视频 Splatting 技术: 基于深度图将原始像素点“溅射”到三维空间,再重新投影到新的视点,生成左右眼视图的初始版本。
- 立体视频修复: 针对 splatting 过程中产生的空洞和伪影,采用基于学习的修复网络进行补全和优化,确保输出视频的视觉连贯性与高保真度。
- 支持多种显示设备: 生成的 3D 视频兼容 VR 头显、3D 显示器、红蓝眼镜等多种播放终端,无需额外硬件适配。
- 端到端自动化流程: 用户只需输入一段常规 2D 视频,系统即可自动完成整个转换过程,无需人工干预或专业调参。
- 开源可定制: 代码与模型权重完全公开,开发者可基于自身需求进行微调、优化或集成到现有工作流中。
适用人群
StereoCrafter 面向广泛的内容创作者与技术从业者。影视后期团队可快速将历史 2D 素材转为 3D 影片,丰富媒体库;VR/AR 开发者能低成本获取立体场景素材,加速原型验证;短视频与直播创作者可借助该工具制作更具临场感的沉浸式内容;学术研究者则可基于其开源架构探索更先进的 3D 重建算法。典型场景包括:旧电影 3D 重制、虚拟现实教育视频制作、游戏过场动画立体化等。
从行业地位看,StereoCrafter 填补了高质量、低成本 2D-to-3D 视频转换工具的开源空白。相比传统的逐帧手动绘制或依赖昂贵双目摄像机拍摄的方式,该框架显著降低了时间与资金投入。目前项目已在 GitHub 上公开,采用开放许可证,社区可自由下载、使用及贡献。由于完全免费,它对于预算有限的独立创作者和小型工作室尤其具有吸引力。在同类工具中,StereoCrafter 以其端到端的自动化程度和基于深度学习的修复质量脱颖而出,成为当前 3D 内容生产链路中的重要一环。