#ai探索计划# CharacterGen是由清华大学、vast联合研发的开源项目。

1、技术原理

多视角图像生成与姿态规范化：采用IDUNet将输入图像的补丁级外观特征转移到多视角去噪UNet中，引入姿态嵌入网络辅助姿态规范化。利用VAE编码无噪声输入图像，通过交叉注意力机制引入像素级指导。

3D角色生成：首先使用两阶段的基于Transformer的网络重建角色的几何和粗糙外观，然后采用纹理反投影策略，利用生成的高分辨率四视图图像改善纹理质量，最后使用泊松混合技术减少纹理贴图上的接缝。

2、核心组件

多视图扩散模型：能根据输入的多角度图像生成一致的3D角色视图，有效将输入姿态校准为标准形式，解决多样化姿态问题。

基于Transformer的稀疏视图重建模型：可从多视图图像中创建出详细的3D模型。

纹理反投影策略：用于生成高质量的纹理映射，提升生成模型的细节质量。

3、数据集

构建了包含13,746个风格化角色主题的Anime3D数据集，以多种姿势和视角渲染，用于训练和评估模型，缓解了“janus”问题，为3D角色生成研究提供了多样化资源。

4、实验结果

2D视图生成：在处理复杂身体姿势时表现更好，生成图像质量更高，图像生成质量和一致性优于其他模型。

3D角色生成：通过四视图重建机制有效避免了janus问题，能生成具有满意外观的3D角色网格，便于下游图形应用，生成速度比其他基于图像的3D生成方法更快。

4、应用领域

可应用于电影、视频游戏、在线流媒体和虚拟现实等领域，为创作者提供了高效、经济的3D角色生成工具，有助于提升创作效率和作品质量。#ai创造营# http://t.cn/A6uEQTJm