挨踢牛魔王 26-04-03 22:13
微博认证:科技博主

我以前其实不怎么在微博发言的。
但是AI出来后,你要不多看看,可能有些你搞了几个月、半年的东西,别人早就搞好了,只是你不知道。

今天这个项目,就是这样,这是一个把图片拆成多层的项目,最多可以拆成23层,只支持动漫类的。
这样,你就可以单独修改某个部分,也可以做成活动的2.5D。
阿里其实有一个拆分图层的模型,但是那个占用显存太大了,消费级显卡顶不住。
今天这个项目,可以在低显存上面运行。

一个AI系统,将单幅动漫插画分解成可操作的2.5D图层分解模型,支持深度排序,准备用于Live2D工作流程。

特点:
单图图层分解——输入一张动漫角色图片,最多获得24个语义透明图层(头发、脸、眼睛、服装、配饰等)
深度估计——通过微调的万寿菊自动生成每层深度图,确定正确的绘图顺序
智能分拆——眼睛、耳朵、手饰分成左右;头发通过深度分簇分成前后
PSD 导出 — 直接从浏览器下载分层 PSD 文件(前端 ag-psd,无 Python 依赖)
深度PSD — 为3D/视差工作流程提供独立的深度PSD导出
预览输出 — 混合重建预览作为标准 ComfyUI 图像输出
HuggingFace 自动下载——模特首次使用时会自动从 HuggingFace 下载
VRAM 优化——标签嵌入缓存、文本编码器卸载、组卸载以及低显存 GPU 可配置深度分辨率。

对于大多数用户(12GB+显存):默认设置运行良好。
已经启用,节省了 ~2GB 显存,且速度完全不受影响。
不需要其他改动。

对于低显存用户(8–12 GB):请按顺序尝试以下设置,从对速度的影响从小到大:
cache_tag_embeds=true(默认,已启用)——缓存文本嵌入并卸载文本编码器,节省约2GB显存且无速度损失
resolution_depth=720 — 以较低分辨率进行运行深度估计,然后再放大回来。以最小的质量损失保存显存
分辨率降低——例如1024而非1280,同时降低显存和计算量
group_offload=真——最后手段。根据需要调整各个模型块的GPU开关,将峰值分配的显存降至~0.2GB,但由于频繁的CPU↔传输,显存速度降低了2–3倍。要求pip install diffusers>=0.37.0

comfyui插件地址:github.com/jtydhr88/ComfyUI-See-through
研究原项目地址:github.com/shitagaki-lab/see-through http://t.cn/AXIRzSKk

发布于 江苏