AIGCLINK
26-10-12 17:47 微博认证:AI博主

百度的这个新OCR可以,Unlimited OCR,解决长文档OCR速度衰减和显存膨胀问题,几十页文档一次性匀速解析完

3B MoE(激活5亿参数),端到端文档解析,可本地部署

基于DeepSeek-OCR微调,核心是R-SWA,输出6000 token时比DeepSeek-OCR快约35%

传统LLM解码器的KV cache会随输出变长而不断膨胀,导致又吃显存又慢

R-SWA模拟人类抄写的工作记忆,生成每个token时始终能看到全部图像视觉token,对已生成文本只回看最近128个,KV cache变为固定容量队列,使单token的注意力计算开销不再随输出长度持续增长,无论输出1万还是10万token,显存和计算成本保持恒定

每页1024×1024图像压缩成256 token,32K上下文单次前向解析40+页,不漏行、不重复(Distinct-35 97%)

直接输出Markdown/JSON,支持表格、数学公式、阅读顺序恢复,可以作为RAG和知识库的数据入口

这个机制还可以扩展到ASR、机器翻译这种长序列生成上

github:http://t.cn/AXSbAeUt

#OCR##UnlimitedOCR##文档解析# http://t.cn/AXlxfqKi

发布于 美国