DeepSeek-OCR部署微调实战：vLLM推理到Unsloth微调全流程

国产开源OCR的新选择

DeepSeek-OCR是近期备受关注的国产开源视觉语言模型（VLM），能够将图片中的文字精准识别为可编辑文本。视觉语言模型（Vision-Language Model, VLM）是一类能够同时理解图像和文本的多模态AI模型。与传统OCR引擎（如Tesseract）依赖规则和模板匹配不同，VLM通过端到端的深度学习架构，将视觉编码器（通常基于ViT或类似架构）与语言模型（如Transformer解码器）结合，使模型不仅能识别文字，还能理解文字与图像之间的语义关系。这意味着VLM在处理复杂排版、手写体、多语言混排等场景时，往往比传统OCR具有更强的泛化能力。

作为一款开源模型，DeepSeek-OCR的价值不仅在于开箱即用，更在于开发者可以基于自身业务场景对其进行部署与微调。

本文将结合实战教程，梳理从vLLM推理部署、Unsloth模型加载到微调训练的完整技术链路，帮助你在一张4090显卡上跑通整个流程。

用vLLM快速部署DeepSeek-OCR

vLLM是一个高性能的大模型推理框架，可以理解为专门运行大模型的推理引擎。它的核心技术创新是PagedAttention机制，借鉴了操作系统中虚拟内存分页管理的思想。传统大模型推理时，KV Cache（键值缓存）需要为每个请求预分配连续的显存空间，导致大量内存碎片和浪费。PagedAttention将KV Cache划分为固定大小的块（block），允许非连续存储和动态分配，使显存利用率提升至接近理论上限。此外，vLLM还支持连续批处理（continuous batching），能够在不同请求的生成过程中动态插入新请求，大幅提升吞吐量。

vLLM提供两种主流使用方式：命令行部署与代码调用。

命令行方式部署

最简单的部署方式是通过 vllm serve 命令，后面跟上模型所在的本地路径。使用vLLM推理时，模型通常需要提前下载到服务器本地，因此这里填写的往往是本地路径。

常用的关键参数包括：

• --served-model-name：为部署的模型起一个名字，方便后续API调用时定位。
• --max-model-len：模型的上下文长度，例如设为8192，指的是输入与输出token数量之和的总上限。上下文长度是大语言模型的一个核心约束参数，Token是模型处理文本的最小单位，一个中文字通常对应1-2个token，一个英文单词可能对应1-4个token。对于OCR场景，如果需要识别一张包含大量文字的文档图片，输出的token数量可能非常大，因此需要合理设置该参数。设置过大会占用更多显存，设置过小则可能导致输出被截断。
• --reasoning-parser：如果模型具备推理能力，可以通过指定解析模板来提取推理内容。

部署完成后，向本地端口（如 localhost:8000）发送带有JSON header和data的请求即可测试。请求中需指定访问哪个模型、传入的提示词以及相关参数，模型便会返回识别结果。vLLM部署后提供的是兼容OpenAI API格式的接口，这意味着你可以直接使用任何支持OpenAI SDK的客户端工具来调用，无需额外适配。

环境安装过程也非常简洁，教程中使用了 uv 工具，仅需两行命令即可完成vLLM的环境配置。uv 是一个用Rust编写的Python包管理器，比传统的pip快10-100倍，且能自动处理依赖冲突，特别适合管理深度学习项目中复杂的依赖关系。

代码调用方式

除了命令行，vLLM也支持通过Python代码直接调用。核心流程是先通过 from vllm import LLM 导入相关类，创建一个模型实例，实例化时指定模型路径（本地部署则改为本地路径）。

随后构造输入——对于DeepSeek-OCR这类视觉语言模型，输入包含一个提示词和一张图片。vLLM支持批量处理，可以同时传入多条数据（多个提示词+多张图片）进行推理。这种批量推理的能力得益于vLLM的连续批处理机制，它会自动将多个请求组合在一起并行计算，相比逐条处理可以获得数倍的吞吐量提升。最后通过 llm.generate() 方法，结合temperature、max_token等生成参数，即可获得OCR识别结果。其中temperature控制输出的随机性（设为0则输出完全确定性结果，适合OCR这类需要精确输出的场景）。

用Unsloth加载并运行OCR模型

除了vLLM，还可以使用Transformers、Unsloth等框架来运行模型。本次实战重点采用Unsloth，因为它是一个专门用于模型微调的高效框架，为后续微调环节做好铺垫。

Unsloth的核心优势在于通过手动反向传播内核重写和智能内存管理，将微调所需的显存降低约60%，同时将训练速度提升2-5倍。它原生支持LoRA和QLoRA等参数高效微调方法，使得在消费级显卡（如RTX 4090的24GB显存）上微调70亿甚至更大参数的模型成为可能。Unsloth还兼容Hugging Face生态，训练完成后可直接导出为多种格式（GGUF、vLLM兼容格式等），便于部署。

模型加载流程

由于DeepSeek-OCR是视觉类模型，使用Unsloth时需要导入 FastVisionModel 类，同时导入PyTorch以及Transformers中的AutoModel。加载模型时，框架会自动从网上下载模型权重（也支持读取本地模型），并可设置一系列加载参数。这些参数通常包括数据类型（如float16或bfloat16）和量化配置，合理设置可以在精度和显存占用之间取得平衡。

运行推理获取识别结果

加载完成后，给模型传入提示词即可运行推理。对于OCR任务，最简单的提示词就是 free OCR，让模型直接对图片进行文字识别。核心方法是 model.infer()，将提示词和图片传入，同时设置 base_size、image_size 等图像相关参数，即可得到识别结果并可选择保存。这些图像参数控制着输入图片的预处理方式——图片会被缩放到指定尺寸后切分为多个patch（图像块），每个patch对应视觉编码器中的一个输入token，因此图像尺寸直接影响识别精度和推理速度。

无论是vLLM还是Unsloth，部署和使用大模型的门槛都已经很低。真正的核心与重点，在于接下来的微调环节。

环境准备：云服务器与镜像配置

对于没有本地高端显卡的开发者，推荐使用AutoDL云服务器。以下是关键配置要点。

显卡选择

租赁实例时，可在西北B区、北京B区、重庆A区等不同区域中选择有资源的节点。跑通DeepSeek-OCR微调脚本，一张4090或4090D显卡就已足够。RTX 4090基于NVIDIA Ada Lovelace架构，拥有24GB GDDR6X显存和16384个CUDA核心，其FP16算力约为330 TFLOPS，是当前消费级显卡中运行大模型微调的主力选择。4090D是面向中国市场的特供版本，算力略有削减但显存容量相同，对于模型微调场景影响不大。

镜像选择

创建实例时，建议直接选择最新的镜像（如PyTorch 2.8.0 + Python 3.12 + CUDA 12.8）。系统为Ubuntu 22.04，会自动装好Python、CUDA和PyTorch。

CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，几乎所有主流深度学习框架都依赖CUDA进行GPU加速计算。CUDA版本需要与显卡驱动和PyTorch版本严格匹配——版本不兼容是深度学习环境配置中最常见的问题之一，使用预配置镜像可以完全避免这类困扰。

由于大多数深度学习框架和库都基于PyTorch封装，环境中包含这三者通常就能满足绝大部分需求。

存储盘规划

实例通常包含系统盘和数据盘两个盘符。数据盘（路径为 /root/autodl-tmp）容量更大（约50G）且读写速度更快，因此建议将模型文件、数据集和工程代码都放在数据盘下。这一点对于大模型场景尤为重要——DeepSeek-OCR的模型权重文件通常在数GB到十几GB之间，加上训练过程中的checkpoint保存，系统盘的空间很容易捉襟见肘。

进入Jupyter并安装Unsloth

实例开机后，在快捷工具栏中点击 Jupyter Lab 按钮，浏览器便会弹出交互式编程页面。

在Jupyter中新建笔记本（右键→新建笔记本），例如命名为 DeepSeek-OCR-FT.ipynb（FT即Fine-Tuning微调之意）。

微调环境的核心依赖是Unsloth，安装命令非常简单：

pip install unsloth

这条命令可以在Jupyter新建的终端窗口中执行。打开终端后，还能看到节点的硬件信息，包括GPU显卡型号、CPU核心数、内存大小以及系统盘/数据盘的容量分布。安装Unsloth时它会自动安装包括Transformers、PEFT（Parameter-Efficient Fine-Tuning库）、TRL（Transformer Reinforcement Learning库）等一系列依赖，这些都是后续微调训练所需的关键组件。

微调的核心价值与技术原理

微调（Fine-Tuning）是将预训练模型适配到特定下游任务的过程。全参数微调需要更新模型所有权重，对计算资源要求极高——以一个7B参数模型为例，全参数微调至少需要约56GB显存（使用混合精度训练），远超单张4090的24GB容量。

LoRA（Low-Rank Adaptation）技术的出现解决了这一难题。它通过在模型原有权重矩阵旁注入低秩分解矩阵，仅训练这些新增的少量参数（通常不到原模型参数量的1%），即可达到接近全参数微调的效果。QLoRA则在LoRA的基础上进一步引入4-bit量化，将基础模型权重压缩为4位存储，仅在计算时临时反量化，从而将显存需求再降低一半以上。

这正是Unsloth + 4090能够完成大模型微调的技术基础。

总结与展望

通过本文的梳理可以看出，DeepSeek-OCR的部署与运行流程已经相当成熟：

1. 推理部署用vLLM，命令行或代码调用两种方式灵活选择；
2. 模型运行用Unsloth的 FastVisionModel，配合 free OCR 提示词即可完成识别；
3. 环境准备借助AutoDL云服务器，一张4090显卡即可上手；
4. 微调训练基于Unsloth框架，是整个流程中最具价值的核心环节。

对于希望将OCR能力落地到自有业务的开发者而言，掌握这套从部署到微调的完整链路，意味着可以针对特定文档、票据、表格等场景定制专属模型，充分释放开源模型的潜力。例如，医疗机构可以微调模型以精准识别处方单上的手写药名，金融企业可以针对特定格式的发票或合同进行优化，教育行业可以用于批改手写作业——这些垂直场景中，经过微调的模型准确率往往能比通用模型提升10-30个百分点。

核心要点