Simon的白日梦
25-03-20 11:37 微博认证:科技博主

3D生成也卷爆了,单图转3D已经不够看了,现在开始卷从残图转3D了😂

Amodal3R - 从遮挡 2D 图像重建完整 3D 资产

🧐 Amodal3R 是一种条件式 3D 生成模型,能够从部分可见的 2D 物体图像中推测并重建完整的 3D 形态和外观,显著提升遮挡场景下的 3D 重建质量。

➡️ 链接:http://t.cn/A6BO0ems

✨ 重点

● 🎭 遮挡感知 3D 重建:针对遮挡严重的 2D 图像,Amodal3R 结合 2D 片段信息与语义推测,生成完整的 3D 模型。

● 🧠 掩码加权注意力机制:采用多头交叉注意力和遮挡感知注意力层,以准确推测被遮挡区域的形状和纹理。

● 🔍 基于 DINOv2 特征提取:利用 DINOv2 进行高质量视觉特征提取,为 3D 重建提供更多上下文信息。

● 🚀 超越现有方法:相比于“2D 预测补全 + 3D 重建”两步法,Amodal3R 在遮挡情况下表现更优,建立了新的 3D 重建基准。

● 📈 合成数据训练,泛化至真实场景:虽然仅使用合成数据训练,该模型在真实场景的 3D 重建任务中依然表现出色。

● 🔗 相关研究参考:

TRELLIS:基于结构化潜变量表示和流变换 Transformer 进行 3D 生成。

GaussianAnything:采用级联 3D 扩散模型生成高质量、高可编辑性的高斯表面 3D 资产。

Real3D:通过自训练策略扩展单视角 3D 生成数据集,提高模型泛化能力。

LaRa:在 4 块 GPU 上仅需 2 天训练的 2D 引导 3D 生成模型。

该技术在 AR/VR、机器人视觉、自动驾驶等领域具有广泛应用潜力,尤其适用于复杂遮挡环境下的 3D 资产创建与增强现实体验。

#AI白日梦想家[超话]# #ai创造营# #你好人工智能时代# #ai生活指南#

发布于 奥地利