建筑佬狂喜:文字/色块图生成完整室内3D模型点云模型
GitHub - manycore-research/SpatialGen: SpatialGen: Layout-guided 3D Indoor Scene Generation
🧐 SpatialGen 是一个基于 多视角、多模态扩散模型的三维室内场景生成工具,支持从语义布局出发生成完整 3D 场景,可通过文本或单张图像作为输入进行推理,并已开源代码、模型和数据集。
➡️链接:http://t.cn/AXPJQhIM
✨重点
● 🏠 核心功能:通过语义布局(semantic layout)驱动 3D 室内场景生成,支持 image-to-scene 和 text-to-scene 两种模式。
● 🔬 模型组成:提供 SpatialGen-1.0 以及 FLUX.1-Layout-ControlNet,均可在 HuggingFace 下载。
● 📦 数据集:发布 SpatialGen-Testset,包含 48 个房间、4.8K 渲染图(RGB、法线、深度、语义图等 100 视角)。
● ⚙️ 环境与依赖:Python 3.10 + PyTorch 2.3.1 + CUDA 12.1;需安装依赖并修复 vLLM 相关推理 bug(可选 cublas 版本)。
● 🖼️ 推理方式:
单图 → 3D 场景:bash scripts/infer_spatialgen_i2s.sh
文本 → 图像 → 3D 场景:bash scripts/infer_spatialgen_t2s.sh
● 📜 许可证:SpatialGen 基于 Stable Diffusion v2.1(CreativeML Open RAIL++-M License),FLUX.1-Layout-ControlNet 采用非商业许可。
● 🧩 技术背景:融合 DiffSplat、SD 2.1、TAESD、FLUX 和 SpatialLM 等开源项目的研究成果。
● 🌐 应用场景:虚拟室内设计、游戏关卡生成、VR/AR 内容构建、多模态研究实验。
#AI白日梦想家[超话]# #ai创造营# #你好人工智能时代# #ai生活指南#
