百度的这个新OCR可以,Unlimited OCR,解决长文档OCR速度衰减和显存膨胀问题,几十页文档一次性匀速解析完
3B MoE(激活5亿参数),端到端文档解析,可本地部署
基于DeepSeek-OCR微调,核心是R-SWA,输出6000 token时比DeepSeek-OCR快约35%
传统LLM解码器的KV cache会随输出变长而不断膨胀,导致又吃显存又慢
R-SWA模拟人类抄写的工作记忆,生成每个token时始终能看到全部图像视觉token,对已生成文本只回看最近128个,KV cache变为固定容量队列,使单token的注意力计算开销不再随输出长度持续增长,无论输出1万还是10万token,显存和计算成本保持恒定
每页1024×1024图像压缩成256 token,32K上下文单次前向解析40+页,不漏行、不重复(Distinct-35 97%)
直接输出Markdown/JSON,支持表格、数学公式、阅读顺序恢复,可以作为RAG和知识库的数据入口
这个机制还可以扩展到ASR、机器翻译这种长序列生成上
github:http://t.cn/AXSbAeUt
#OCR##UnlimitedOCR##文档解析# http://t.cn/AXlxfqKi
发布于 美国
