E哥柚子之旅 26-01-28 08:38
微博认证:财经博主 财经观察官

De­e­p­S­e­ek OCR2 速递:模拟人类阅读习惯重排阅读顺序,实现OCR效果提升
传统OCR的痛点是什么? 现实文档大多存在图文混排,AI容易读错顺序,导致OCR给出的结果较为混乱。
De­e­p­S­e­ek-OCR2做了什么? 将“阅读顺序/阅读逻辑”的处理,从解码器(LLM)前置到了编码器(En­c­o­d­er)中。De­e­p­s­e­ek创新性提出Vi­s­u­al Ca­u­s­al Fl­ow(视觉因果流),先依据语义将文档重排为符合阅读逻辑的顺序,让编码器先将 2D 文档内容“按语义重排为 1D 因果流”,再交给 LLM 生成,从而让视觉编码器学会了一种更接近“人类阅读习惯”的机制。
效果如何? Om­n­i­D­o­c­B­e­n­ch v1.5测试综合得分 91.09,相比上一代de­e­p­s­e­ek OCR显著提升。
技术启发? De­e­p­S­e­ek-OCR 2 最值得关注的意义在于,将二维理解拆解为两个层级的“一维因果推理”:En­c­o­d­er 负责构建阅读流,De­c­o­d­er 负责生成与推理。未来的影响也许不仅限于OCR,而有可能扩大至一切多模态领域任务,也许都有望从这种“先学会读顺序”的思路中获益。

发布于 安徽