本文介绍了如何使用本地部署的多模态大语言模型Qwen2.5-VL实现扫描版PDF的OCR功能，并将其转换为Markdown文档。文章详细阐述了项目的技术架构、程序流程、模型下载方法以及在不同硬件上的性能表现。该方案解决了远程API的成本和限制问题，提供了在本地设备上处理PDF文档的可行方案，适合在普通笔记本到高性能服务器上部署，为后续更复杂的文档处理任务奠定基础。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

在使用大模型处理书籍 PDF 时，有时你会遇到扫描版 PDF，也就是说每一页其实是图像形式。这时，大模型需要先从图片中提取文本，而这就需要借助 OCR（光学字符识别）技术。

像 Gemini 2.5 这样的强大模型，具备非常强的从图片中提取文本的能力。实际上，我们完全可以利用它来执行 OCR 任务。

利用这样的大模型进行 OCR，不仅能处理复杂的图像场景，还能理解文本的结构，保留格式，并正确处理表格、标题等内容，为后续的文本分析、自动化处理和智能搜索提供强大的支持。这种结合 OCR 和 NLP 的智能文档处理方式，正在成为解决实际问题的强大工具。

然而，像 Gemini 这样的强大模型只能通过远程访问，且存在 API 受限和高成本的问题。那么，是否有可能在本地部署类似的大模型来完成这一任务呢？

虽然本地部署或直接安装已经有很多方案，后期文章中我们也将逐一比较。但我们更想自己手撸一个，想着将来大模型不断升级之中我们也能紧随其后直接升级是不。

多模态

首先，我们去 Hugging Face 找找具有这种本事的大模型。

看到 Image-Text-to-Text 没有，它表示模型能够处理图像和文本输入，符合我们的任务要求。点击进去，首先看到的是一批新发布的模型，

我们往后翻，找到下面这个 https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct。

选这个模型的主要原因是想在笔记本上也能跑起来，所以参数量不能太多。先用我的 Macbook Air 试试本地大模型的 OCR 能力，然后再部署到显卡好一点的电脑上去干活。

代码放在 github 仓库：https://github.com/mathinml/pdf2md

项目任务

本项目的任务明确如下：实现一个本地部署的多模态大语言模型，如 Qwen2.5-VL，用于从 PDF 文件中提取文字内容并完成 OCR 任务，最好保留表格形式，并将其转换为 Markdown 文档。模型是可选的，只需调整参数即可切换到其他模型。尽管这个功能看似简单，但它为后续更复杂任务奠定了基础。

我们使用两款电脑来测试：Macbook Air M3 处理器，16G 内存；Ubuntu，V100 32G 显存。

¸用到的库

该项目主要涉及三部分，即 Transformers, vLLM 以及具体的大模型如 QWen2.5-VL。这个模型是基于 Transformer 架构开发的多模态模型。具体通过 Hugging Face 的 Transformers 库来加载和使用它，并选择使用 vLLM 来优化 Qwen2.5-VL 模型的推理性能。考虑到后期可能会实际部署到高性能电脑上，因此选择 vLLM，而不是 Ollama。

Transformers, vLLM 以及 QWen2.5-VL 之间的关系如下图所示。

这个关系图展示了三者之间的依赖和协作，具体如下，

• Transformers 是基础框架：QWen2.5-VL 的代码和模型结构依赖于 Hugging Face Transformers 库。开发者和用户需要安装最新版本的 Transformers 来加载和运行 QWen2.5-VL。
• vLLM 是推理优化引擎：vLLM 增强了 QWen2.5-VL 的推理性能，尤其是在处理视觉和视频任务时。它通过张量并行、动态内存管理等技术，使 QWen2.5-VL 能够在生产环境中高效运行。vLLM 需要与 Transformers 配合使用，并确保版本兼容（例如，某些版本的 Transformers 可能需要从源代码安装）。
• QWen2.5-VL 是应用模型：它是具体的多模态模型，利用 Transformers 提供的架构和 vLLM 的推理优化来实现其功能。换句话说，QWen2.5-VL 的设计目标是处理复杂的视觉语言任务，而 Transformers 和 vLLM 则是其技术支撑。

程序流程

程序流程以及几个主要 Python 文件之间的关系如下图所示。

这个程序的主要功能是将 PDF 文件转换为 Markdown 格式，整个流程可以总结如下：

1、命令行参数解析：通过 cli.py 中的 parse_args 函数解析用户输入的命令行参数；主要参数包括：PDF 文件路径、模型路径、输出文件路径等。

2、初始化处理器：在 main.py 中初始化 PDFMarkdownProcessor 处理器；该处理器是整个转换过程的核心控制器。

3、PDF 处理阶段：加载指定的 PDF 文件；使用 PDFToImageConverter 将 PDF 文件转换为图像序列，图像分辨率默认为 1024 宽。

4、模型初始化：加载指定的视觉语言模型（如 Qwen2.5-VL-3B-Instruct）；该模型需要提前下载到本地指定目录。

5、图像处理与转换：对每个 PDF 页面生成的图像进行处理；使用 ImageToMarkdownConverter 将图像内容转换为 Markdown 文本；这一步利用视觉语言模型识别图像中的文本、表格、图片等内容。

6、结果整合与输出：合并所有页面转换得到的 Markdown 内容；将最终的 Markdown 文本保存到指定的输出文件中。

整个流程体现了模块化设计思想，各个组件职责明确，便于维护和扩展。用户只需通过简单的命令行参数即可完成从 PDF 到 Markdown 的转换过程。

模型下载

可以通过命令 huggingface-cli download 来下载 Qwen2.5-VL，但如果 huggingface 不方便使用，可以选择用 modelscope。

比如我们要使用的这个模型文件放在这里：https://modelscope.cn/models/Qwen/Qwen2.5-VL-3B-Instruct/files

先安装 modelscope：

pip install modelscope

然后用以下命令，

modelscope download --model Qwen/Qwen2.5-VL-3B-Instruct --local_dir ../local_models/Qwen2.5-VL-3B-Instruct

将完整模型库文件下载到指定的本地目录 ../local_models/Qwen2.5-VL-3B-Instruct 中。

转化效果

对于 1024 分辨率的图像，在 Macbook Air 上转化一页需要六、七分钟，虽然有点久，但至少也能跑起来了，而在 V100 上只需要 10 秒+。

如果页面较清晰，可以降低分辨率，那样自然会提高转化效率。另外，程序中有个参数 quantization=None 表明没有启用量化，保持了模型的完整精度。如果想进一步提高效率，可以使用量化版本，即 Qwen/Qwen2.5-VL-3B-Instruct-AWQ。

转化效果

从 PDF 文件中提取的图像，

转化为 Markdown 后，效果如下图所示。是不是文字、表格和数学公式都还保持的不错。

代码：https://github.com/mathinml/pdf2md

读者福利：倘若大家对大模型感兴趣，那么这套大模型学习资料一定对你有用。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓