川北小哥 25-01-12 14:25
微博认证:科技博主

#ai探索计划# BiRefNet是一种用于高分辨率二分图像分割的AI模型。

1、开发背景

随着高分辨率图像采集技术的发展,高分辨率二分图像分割(DIS)技术有了用武之地,但当前用于DIS的策略在捕捉最细微的特征方面存在不足。为应对这一挑战,由南开大学和上海人工智能实验室等单位组成的研究团队开发出双边参考模块及BiRefNet。

2、技术原理

采用新颖的渐进式双边参考网络,有单独的定位和重建模块。定位模块从视觉Transformer骨干中提取层次特征并组合压缩;重建模块设计向内和向外的参考作为双边参考,将源图像和梯度图在不同阶段输入解码器。保持原始分辨率以保留完整细节特征,并自适应裁剪为补丁与解码特征兼容。

3、功能特点

可对输入图像进行高质量的二分图像分割,能精准地将前景物体从背景中分离出来,保留图像的精细细节和边缘信息。支持箱式引导分割,可提供边界框来引导分割过程。

4、应用领域

在医疗领域可用于分割医学扫描中的解剖结构辅助诊断和治疗规划;在自动驾驶中能检测和分割行人、车辆、障碍物等实现场景理解和决策;在卫星影像分析方面可用于分割土地利用、农作物等特征服务于农业、城市规划和环境监测;还可用于普通图像编辑中的物体提取、机器人视觉中的目标识别和分离等。

5、性能优势

在高分辨率图像上显示出更高的精度,特别是在具有精细细节的图像上,是目前用于前景对象提取的最佳开源和商业可用模型。

6、开源情况

在GitHub上开源,用户可通过Hugging Face一行代码轻松加载,官方还提供了各种教程、演示和预训练模型等,方便用户进行使用和研究。#ai创造营# http://t.cn/A6umldnX

发布于 安徽