AI 很好搜

Zero123是一种从单个图像到一致多视图的扩散基础模型，旨在使用单视图输入生成 3D一致的多视图图像。以下是关于 Zero123 的详细介绍：

基本功能

• 新视图合成：Zero123 能够根据给定的单张图像生成新的视角图像，用户只需输入一张图片并选择摄像机视角，模型即可生成该视角下的物体显示结果。
• 3D 重建：该模型可以从单张图像生成完整的三维对象，能够重现复杂的 3D 形状和纹理，提升模型的现实感和精确度。

技术原理

• 扩散模型基础：Zero123 基于扩散模型，通过逐步去除图像中的噪声来生成目标图像。
• 视角条件生成：模型利用合成数据集对预训练的 Stable Diffusion 模型进行微调，实现对相机视角变换的控制，从而从单张图像生成多视角的 3D 模型。
• 数据集优化：Zero123 使用 Objaverse 数据集进行训练，通过大量高质量的合成数据集以及精心设计的视角模型，显著减轻了 Janus 问题（即图像模型在视角变化下的错误和偏见）。

使用方法

Zero123项目：https://github.com/cvlab-columbia/zero123

Zero123试用：https://huggingface.co/spaces/cvlab/zero123-live

Zero123论文：https://arxiv.org/abs/2303.11328

• 环境配置：用户需要先配置 Python 环境，并安装必要的库。
• 下载权重文件：从预设的下载地址获取训练好的模型权重。
• 运行演示：使用 Gradio 工具运行新视图合成的演示。
• 训练模型：用户可以根据自己的需求调整训练脚本，进行模型再训练。

版本发展

• Zero123-XL：Zero123 的扩展版本，进一步提高了图像到三维结果的质量。
• Stable Zero123：这是 Zero123 的改进版本，通过改进的训练数据集、海拔调节以及更高的训练效率，显著提升了生成效果。
• Zero123++：Zero123 的升级版本，通过将六个围绕物体的视角拼接成单一图像的方式，解决了之前模型在几何一致性方面的不足。

应用场景

• 3D 内容创作：可用于影视、游戏和虚拟现实（VR/AR）领域的 3D 内容制作，显著提升生产效率。
• 教育与研究：为学术研究者提供开放的代码和模型支持，探索 3D 生成领域的新技术与新方法。
• 电子商务与设计：商业用户可以通过 Stable Zero123C 版本（支持商业用途），生成符合需求的高质量 3D 产品展示模型。

数据统计