Chandra OCR出版数字化图书扫描件→章节识别→Markdown→EPUB自动转换流程如果你手头有一堆老旧的图书扫描件或PDF想把它们变成结构清晰、排版保留的电子书这个过程是不是听起来就很头疼手动整理、识别、转换每一步都耗时费力。今天我要分享一个基于Chandra OCR的自动化工作流。它能帮你把图书扫描件一键转换成带章节结构的Markdown并最终生成EPUB电子书。整个过程就像把一堆散乱的纸张自动装订成一本精美的书。1. 为什么选择Chandra OCR在开始动手之前我们先搞清楚市面上OCR工具那么多为什么偏偏是Chandra简单来说Chandra是一个“有脑子”的OCR。它不仅能认出字还能理解版面。想象一下你给AI看一页书它不仅能告诉你上面写了什么还能告诉你“这部分是标题那部分是正文左边是个表格右下角有个公式。” 这就是“布局感知”能力。Chandra的几个硬核优势精度高在权威的olmOCR基准测试中综合得分83.1分超过了GPT-4o和Gemini Flash 2。尤其是在处理老扫描件、数学公式和复杂表格时表现突出。输出友好它不给你一堆乱七八糟的纯文本而是直接输出结构化的Markdown、HTML或JSON。标题、段落、列表、表格、图片标题和位置信息都给你保留得好好的后续处理极其方便。本地可跑模型完全开源Apache 2.0协议对商业使用友好。更重要的是它不需要顶级显卡4GB显存比如一张RTX 3060就能跑起来真正做到了“开箱即用”。多语言支持官方验证支持40多种语言对中、英、日、韩、德、法、西等语言效果最好连手写体也能对付。所以如果你的目标是“把扫描件变成结构化的数字文档”而不是“仅仅识别文字”Chandra是目前非常对路的选择。2. 从扫描件到EPUB完整流程拆解整个自动化流程可以看作一条流水线我们分步来看每一步做什么以及如何用Chandra来实现。2.1 第一步准备原料——获取并预处理扫描件理想情况下你的扫描件应该是清晰的PDF或图片如PNG, JPG。如果质量太差可以先用一些工具进行简单的预处理比如用ImageMagick调整对比度、去噪或者用pdfimages从PDF中提取出所有页面图片。# 示例使用ImageMagick批量调整图片对比度可选步骤 # 假设所有扫描图片都在 ./scans/ 目录下 for img in ./scans/*.jpg; do convert $img -contrast-stretch 2%x1% ./processed/$(basename $img) done预处理不是必须的但对于年代久远、对比度很低的扫描件稍微处理一下能显著提升OCR的准确率。2.2 第二步核心识别——用Chandra提取结构化内容这是整个流程的心脏。我们将使用Chandra的vLLM后端进行批量处理因为它效率更高支持并行。首先确保你的环境已经安装好Docker然后拉取Chandra的官方镜像并启动服务# 1. 拉取Chandra OCR的Docker镜像 docker pull datalabto/chandra-ocr-vllm:latest # 2. 运行容器。这里假设你有一张至少4GB显存的GPU。 # 将本地目录 /path/to/your/documents 挂载到容器的 /data 目录 docker run --gpus all -p 7860:7860 -v /path/to/your/documents:/data datalabto/chandra-ocr-vllm:latest服务启动后会提供一个API接口默认在http://localhost:7860。我们可以写一个Python脚本批量提交PDF或图片文件进行处理。# batch_process.py import requests import os import json from pathlib import Path # Chandra vLLM 服务的地址 API_URL http://localhost:7860/v1/ocr # 输入目录存放待处理的PDF或图片 INPUT_DIR Path(./processed/) # 输出目录存放Chandra生成的Markdown文件 OUTPUT_DIR Path(./chandra_markdown/) OUTPUT_DIR.mkdir(parentsTrue, exist_okTrue) def process_file(file_path): 向Chandra API发送文件并获取Markdown结果 with open(file_path, rb) as f: files {file: f} # 你可以通过data参数指定输出格式这里我们只要markdown data {output_formats: [markdown]} try: response requests.post(API_URL, filesfiles, datadata) response.raise_for_status() # 检查请求是否成功 result response.json() # 保存Markdown结果 output_file OUTPUT_DIR / (file_path.stem .md) with open(output_file, w, encodingutf-8) as md_file: md_file.write(result.get(markdown, )) print(f✓ 已处理: {file_path.name}) return True except Exception as e: print(f✗ 处理失败 {file_path.name}: {e}) return False # 批量处理目录下的所有PDF和图片文件 supported_ext [.pdf, .jpg, .jpeg, .png, .tiff] for ext in supported_ext: for file in INPUT_DIR.glob(f*{ext}): process_file(file) print(批量处理完成)运行这个脚本Chandra就会帮你把每一页扫描件都转换成一份保留了标题、段落、表格等排版信息的Markdown文件。2.3 第三步后处理与章节合并——从单页到整书现在你有了每一页的Markdown但它们还是分散的。我们需要做两件事按顺序合并把所有页面的Markdown按页码顺序拼接成一整个文档。章节识别与增强虽然Chandra能识别标题但我们可以进一步优化比如统一标题格式、生成目录。# merge_and_structure.py from pathlib import Path import re # 输入上一步Chandra生成的单页Markdown文件目录 MARKDOWN_DIR Path(./chandra_markdown/) # 输出合并后的整书Markdown文件 OUTPUT_BOOK Path(./book_combined.md) # 1. 按文件名排序后合并假设文件名包含页码顺序如 page_001.md markdown_files sorted(MARKDOWN_DIR.glob(*.md), keylambda x: x.stem) combined_content [] for md_file in markdown_files: with open(md_file, r, encodingutf-8) as f: content f.read().strip() if content: # 避免添加空页 combined_content.append(content) combined_content.append(\n\n---\n\n) # 添加分页符可选 # 将合并后的内容写入文件 with open(OUTPUT_BOOK, w, encodingutf-8) as f: f.write(\n.join(combined_content)) print(f已合并 {len(markdown_files)} 个文件到 {OUTPUT_BOOK}) # 2. 可选简单的章节标题强化 # 假设Chandra识别出的一级标题格式为 # 章节名 # 我们可以确保所有一级标题格式一致并提取生成目录 with open(OUTPUT_BOOK, r, encodingutf-8) as f: full_text f.read() # 查找所有一级标题 chapter_pattern r^# (.)$ chapters re.findall(chapter_pattern, full_text, re.MULTILINE) if chapters: print(检测到以下章节) for i, chap in enumerate(chapters, 1): print(f {i}. {chap}) # 这里可以进一步处理比如在文件开头插入一个自动生成的目录现在你得到了一个完整的、结构清晰的图书Markdown文件。2.4 第四步格式转换——从Markdown到EPUBMarkdown是人类可读、编辑友好的格式但EPUB才是通用的电子书格式。转换工具很多这里推荐使用pandoc它是文档转换的“瑞士军刀”。首先确保安装了pandocbrew install pandoc(Mac) 或sudo apt-get install pandoc(Linux)。# 使用pandoc将Markdown转换为EPUB # -o 指定输出文件名 # --toc 自动生成目录 # --epub-cover-image 指定封面图片可选 pandoc ./book_combined.md -o ./output_book.epub --toc --epub-cover-image./cover.jpg一条命令你的电子书就生成了。pandoc会自动处理章节、目录、元数据等信息。3. 一键自动化脚本把上面所有步骤串起来我们可以创建一个一键执行的脚本实现从“扫描件目录”到“EPUB电子书”的全自动流水线。#!/bin/bash # automate_book_creation.sh set -e # 遇到错误则退出 echo 开始图书数字化流程 # 1. 定义路径 SCAN_DIR./raw_scans PROCESSED_DIR./processed MARKDOWN_DIR./chandra_markdown FINAL_MD./book_final.md FINAL_EPUB./my_digitized_book.epub # 2. 可选图片预处理 echo 步骤1: 图片预处理... mkdir -p $PROCESSED_DIR # 这里可以加入你的ImageMagick预处理命令 # 3. 启动Chandra OCR Docker服务假设已提前启动 echo 步骤2: 使用Chandra OCR进行识别... mkdir -p $MARKDOWN_DIR python batch_process.py # 这是我们之前写的批量处理脚本 # 4. 合并与后处理Markdown echo 步骤3: 合并Markdown文件并增强结构... python merge_and_structure.py # 这是我们之前写的合并脚本 # 5. 转换为EPUB echo 步骤4: 转换为EPUB格式... if command -v pandoc /dev/null; then pandoc $FINAL_MD -o $FINAL_EPUB --toc echo ✅ 成功生成EPUB: $FINAL_EPUB else echo ⚠️ 未找到pandoc请先安装: https://pandoc.org/installing.html fi echo 流程结束 把这个脚本保存为automate_book_creation.sh赋予执行权限 (chmod x automate_book_creation.sh)以后每次有新书要处理只需要把扫描件扔进raw_scans文件夹然后运行这个脚本就行了。4. 效果展示与经验分享经过这个流程处理你会得到什么我们来看一个对比。处理前一份多页的PDF扫描件里面包含章节标题、正文段落、一个数据表格和几个数学公式。处理后一个结构清晰的Markdown文件以及最终生成的EPUB电子书。标题被正确识别为#或##级别的Markdown标题。段落保持原有换行和分段。表格被转换成标准的Markdown表格语法可以直接渲染。公式如果是LaTeX格式的会被保留如果是图片中的公式Chandra会尝试将其转换为文本描述或LaTeX取决于模型能力。图片图片区域会被标注出来并保留其在页面中的相对位置信息。几点实践经验批量处理对于整本书一定要用批量脚本手动一页页点不现实。质量检查虽然Chandra精度很高但转换后建议快速浏览一下关键章节和复杂元素如表格、公式必要时进行微调。元数据在生成EPUB前可以考虑编辑Markdown文件头部添加书名、作者、语言等元数据这样生成的电子书信息更完整。样式定制pandoc支持通过CSS自定义EPUB的样式。如果你对电子书的字体、间距、标题样式有要求可以创建一个CSS文件用--css参数指定。5. 总结回顾一下我们利用Chandra OCR这个强大的“布局感知”工具搭建了一条从图书扫描件到EPUB电子书的自动化流水线预处理扫描件可选用于提升质量。使用Chandra批量识别直接得到带排版信息的Markdown。合并与后处理Markdown文件形成完整的书稿。通过Pandoc转换为标准的EPUB电子书格式。这个流程的优势在于自动化程度高只需少量脚本即可处理成百上千页的内容。保真度高Chandra的布局感知能力最大程度保留了原文档的结构。灵活可扩展中间产物是Markdown你可以非常方便地进行编辑、校对或者导入到其他系统如知识库、网站。成本低廉在本地消费级显卡上即可运行避免了API调用费用。对于图书馆、档案馆、出版社或个人爱好者来说这无疑是一套高效、高质量的出版数字化解决方案。下次再面对堆积如山的扫描件时不妨试试这条自动化流水线让它帮你把故纸堆变成随时可阅读、可搜索的数字宝藏。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。