团队最近的生成超高清图像方面。传统的扩散模型在生成极高分辨率图像(例如 4096×4096,甚至8K)。Inf-DiT: Upsampling Any-Resolution Image with Memory-Efficient Diffusion Transformer,paper在这里http://t.cn/A6QAGZrg ,code和模型github上,欢迎多提建议。
生成超高清图像方面。传统的扩散模型在生成极高分辨率图像(例如 4096×4096)时,内存需求会呈二次方增长,因此生成的图像分辨率通常限制在 1024×1024。Inf-DiT 通过提出一种单向块注意力机制,能够在推理过程中自适应调整内存开销并处理全局依赖关系。基于此模块,该模型采用了 DiT 结构进行上采样,并开发了一种能够上采样各种形状和分辨率的无限超分辨率模型。与常用的 UNet 结构相比,Inf-DiT 在生成 4096×4096 图像时可以节省超过 5 倍的内存。该模型在机器和人类评估中均实现了生成超高清图像的 SOTA
发布于 北京
