Simon的白日梦 24-03-26 22:32
微博认证:科技博主

最近一个也是很火的3D生成算法,感觉比TripoSR质量略好,功能也多一些,但是显存占用和运算量都比TripoSR要高不少。

CRM: 单图像到3D纹理网格的卷积重建模型

🧐CRM(Convolutional Reconstruction Model)是一种高保真的前馈单图像到3D生成模型,能够在仅10秒内从单个图像中生成高保真纹理网格,无需测试时优化。

➡️官网:http://t.cn/A6TbKIyH
➡️ComfyUI workflow:http://t.cn/A6TbKIyQ

✨重点
1. 🚀 创新方法:CRM利用卷积U-Net强大的像素级对齐能力和高带宽,创建高分辨率的三平面(triplane)。
2. 🔍 技术背景:大型重建模型(LRM)展示了卓越的生成速度,但传统基于变换器的方法没有利用三平面组件的几何先验。
3. 🌐 几何优化:CRM整合了稀疏3D数据的几何先验,以改进网络设计,优化最终的生成质量。
4. 🖼️ 图像处理:从单个输入图像生成六个正交视图图像,然后将这些图像输入到卷积U-Net中进行处理。
5. 🎨 应用:CRM能够快速生成多种对象的3D纹理网格,例如玫瑰、青蛙、大象、多啦A梦、猫和校车等。
6. 💡 弹性立方体:CRM采用Flexicubes作为几何表示,以便直接进行端到端优化以生成纹理网格。
7. ⌛ 性能优势:整个推理过程在A800 GPU上大约需要10秒,其中包括U-Net前向(不到0.1秒)、查询UV纹理的表面点和文件I/O。
8. 📊 与现有方法的比较:CRM在质量和速度方面与现有方法相比表现出显著的优势。

发布于 奥地利