近日，Stability AI推出了Stable Video 3D模型，该模型能够从单张图像创建多视图3D视频，为视频生成领域带来了一次革命性的突破。
两种变体
Stable Video 3D包含两个变体：SV3D_u和SV3D_p。其中，SV3D_u能够基于单个图像输入生成轨道视频，无需相机调节；而SV3D_p扩展了SV3D_u的功能，允许沿着指定的摄像机路径创建3D视频，并且具备更加丰富的多视图功能。
质量提升
相较于之前的模型，如Stable Zero123模型或开源替代品Zero123-XL，Stable Video 3D在质量上有了明显提升。它不仅具有更好的多视图功能，更能够展现输入图像的三维全貌，而且在泛化能力上也更为熟练。
技术突破
Stable Video 3D的水平提升离不开其基石Stable Video Diffusion模型的支持。该模型添加了摄像机路径调节功能，可生成围绕物体的任意轨道。同时，Stable Video 3D利用多视图一致性来优化3D NeRF和网格表示，以提高直接从新视图生成的3D网格的质量。
新技术应用
为了提高3D预测的质量，Stability AI设计了一种新的掩码分数蒸馏采样损失技术。此外，解纠缠照明优化技术也大大减少了照明问题，从而提升了阴影质量。
商业与非商业使用
Stable Video 3D已经可通过Stability AI会员订阅进行商业使用，对于一般个人每月20美元。而对于非商业用途，用户也可以在Hugging Face平台上下载模型权重，实现更广泛的应用。
Stable Video 3D的发布标志着视频生成技术迈向了一个新的高度，将为影视制作、虚拟现实等领域带来更加丰富和真实的体验，助力视频内容创作更上一层楼。
