就在刚刚，DeepSeek 开源了一个 3B 模子 DeepSeek-OCR。固然 3B 体量不大足球外盘网站娱乐网，但模子念念路立异的力度实在不小。
大家皆知，面前统统 LLM 处理长文本时齐靠近一个绕不开的逆境：计较复杂度是正常级增长的。序列越长，算力烧得越狠。
于是，DeepSeek 团队猜测了一个好办法。既然一张图能包含无数翰墨信息，况且用的 Token 还少，那不如告成把文本转成图像？这等于所谓的「光学压缩」——用视觉模态来给文本信息「瘦身」。
而 OCR 刚巧自然顺应考证这个念念路，因为它自己等于在作念「视觉→文本」的治疗，况且终结还能量化评估。
论文分解，DeepSeek-OCR 的压缩率能达到 10 倍，OCR 准确率还能保握在 97% 以上。
啥原理呢？等于说，原来需要 1000 个文本 Token 才能抒发的内容，当今只用 100 个视觉 Token 就管束了。即使压缩率拉到 20 倍，准确率也还有 60% 傍边，举座终结零落能打。
OmniDocBench 基准测试终结分解：
只用 100 个视觉 Token，就跨越了 GOT-OCR2.0（每页 256 个 Token）的施展
用不到 800 个视觉 Token，干翻了 MinerU2.0（平均每页跨越 6000 个 Token）
在推行分娩中，一块 A100-40G 显卡就能每天生成跨越 20 万页的 LLM/VLM 考试数据。20 个节点（160 块 A100）告成飙到每天 3300 万页。
DeepSeek-OCR 由两个中枢组件构成：
DeepEncoder（编码器）：正经图像特征索乞降压缩
DeepSeek3B-MoE（解码器）：正经从压缩后的视觉 Token 中重建文本
让咱们来重心说说 DeepEncoder 这个引擎。
它的架构很高深，通过把 SAM-base（8000 万参数）和 CLIP-large（3 亿参数）串联起来，前者正经「窗口刺意见」索求视觉特征，后者正经「全局刺意见」领路举座信息。
中间还加了个 16 × 卷积压缩器，在参预全局刺意见层之前把 Token 数目大幅砍掉。
例如而言，一张 1024 × 1024 的图像，会被切成 4096 个 patch token。但经过压缩器处理后，参预全局刺意见层的 Token 数目会大幅减少。
这么的平允是，既保证了处理高分离率输入的才调，又死心住了激活内存的支拨。
况且 DeepEncoder 还支握多分离率输入，从 512 × 512 的 Tiny 口头（64 个 Token）到 1280 × 1280 的 Large 口头（400 个 Token），一个模子全管束。
目下开源版块支握的口头包括原目生辨率的 Tiny、Small、Base、Large 四档，还有动态分离率的 Gundam 口头，活泼性拉满。
解码用具的是 DeepSeek-3B-MoE 架构。
别看惟有 3B 参数，但袭取了 MoE（搀杂众人）想象—— 64 个众人中激活 6 个，再加 2 个分享众人，推行激活参数约 5.7 亿。这也让模子既有 30 亿参数模子的抒发才调，又保握了 5 亿参数模子的推理服从。
解码器的任务等于从压缩后的视觉 Token 中重建出原始文本，这个进程不错通过 OCR 格调的考试被紧凑型言语模子灵验学习。
数据方面，DeepSeek 团队亦然下了血本。
从互联网汇集了 3000 万页多言语 PDF 数据，涵盖约 100 种言语，其中中英文占 2500 万页。
数据分两类：粗标注告成用 fitz 从 PDF 索求，主要考试少数言语的识别才调；精标注用 PP-DocLayout、MinerU、GOT-OCR2.0 等模子生成，包含检测与识别交汇的高质料数据。
关于少数言语，团队还搞了个「模子飞轮」机制——先用有跨言语泛化才调的版面分析模子作念检测，再用 fitz 生成的数据考试 GOT-OCR2.0，然后用考试好的模子反过来标注更多数据，月盈则食最毕生成了 60 万条样本。
此外还有 300 万条 Word 文档数据，主要擢升公式识别和 HTML 表格解析才调。
场景 OCR 方面，从 LAION 和 Wukong 数据集汇集图像，用 PaddleOCR 标注，中英文各 1000 万条样本。
DeepSeek-OCR 不仅能识别翰墨，还具备「深度解析」才调，只需一个调和的教唆词，就能对多样复杂图像进行结构化索求：
图表：金融斟酌诠释中的图表不错告成索求为结构化数据
化学结构式：识别并治疗为 SMILES 门径
几何图形：对平面几何图形进行复制和结构化解析
自然图像：生成密集样式（dense captions）
这在 STEM 畛域的欺诈后劲巨大，尤其是化学、物理、数学等需要处理无数璀璨和图形的场景。
这里就不得不提 DeepSeek 团队建议的一个脑洞打开的想法——用光学压缩模拟东谈主类的淡忘机制。
东谈主类的追念会随本领阑珊，越久远的事情铭刻越邋遢。DeepSeek 团队想，那能不可让 AI 也这么？于是，他们的有诡计是：
把跨越第 k 轮的历史对话内容渲染成图像
初步压缩，已矣约 10 倍的 Token 减少
关于更久远的坎坷文，无间松开图像尺寸
跟着图像越来越小，内容也越来越邋遢，最终达到「文本淡忘」的终结
这就很像东谈主类追念的阑珊弧线，近期信息保握高保真度，久远追念自然淡化。
固然这如故个早期斟酌标的，但若是真能已矣，关于处理超长坎坷文将是个巨大结巴——近期坎坷文保握高分离率，历史坎坷文占用更少计较资源，表面上不错守旧「无尽坎坷文」。
简言之，DeepSeek-OCR 名义上是个 OCR 模子，但推行上是在探索一个更高大的命题：能否用视觉模态手脚 LLM 文本信息处理的高效压缩绪言？
初步谜底是细主张，7-20 倍的 Token 压缩才调依然展现出来了。
自然，团队也承认这仅仅个运转。单纯的 OCR 还不及以统统考证「坎坷文光学压缩」，后续还经营开展数字–光学文本轮流预考试、「大海捞针」式测试，以过火他系统性评估。
不外无论奈何说，这在 VLM 和 LLM 的进化路上，又多了一条新赛谈。
客岁这个时候，全球还在卷想着奈何让模子「铭刻更多」。
本年 DeepSeek 告成反其谈行之：不如让模子学会「忘掉一些」？确然，AI 的进化，无意候不是作念加法，而是作念减法。小而好意思，也能玩出大项目，DeepSeek-OCR 这个 3B 小模子等于最佳的讲明。
GitHub 主页：
http://github.com/deepseek-ai/DeepSeek-OCR
论文：
https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf
模子下载：
https://huggingface.co/deepseek-ai/DeepSeek-OCR足球外盘网站娱乐网