告别手动整理PDF！AI自动化批量提取数据到Excel全攻略

2026年4月11日 互联网

一、技术方案架构设计

本方案采用”AI+Python”的混合架构，核心流程分为三阶段：

  1. 文档解析层：使用专业PDF解析库处理中文文档
  2. 智能提取层：通过正则表达式精准定位关键字段
  3. 数据持久层：将结构化数据写入Excel并保存至指定路径

1.1 环境准备指南

开发环境需满足以下条件：

  • Python 3.8+（推荐使用虚拟环境）
  • 主流IDE（如PyCharm/VSCode）
  • 基础依赖库： 
    1. pip install pdfplumber pandas openpyxl regex

    提示：建议使用requirements.txt统一管理依赖版本，避免环境冲突

二、智能提取核心实现

2.1 文档目录遍历逻辑

  1. import os
  3. def get_pdf_files(folder_path):
  4.     """递归获取指定目录下所有PDF文件"""
  5.     pdf_files = []
  6.     for root, _, files in os.walk(folder_path):
  7.         for file in files:
  8.             if file.lower().endswith('.pdf'):
  9.                 pdf_files.append(os.path.join(root, file))
  10.     return pdf_files

该函数采用os.walk()实现递归遍历，支持处理嵌套子目录中的PDF文件。

2.2 关键字段提取算法

针对中文合同文档的特殊格式，采用三级匹配策略：

  1. 精确匹配：直接查找”合同号：”前缀
  2. 模糊匹配：处理”编号：”、”No.”等变体
  3. 上下文匹配：通过段落位置推断合同号位置
  1. import re
  3. def extract_contract_no(pdf_text):
  4.     """多模式提取合同号"""
  5.     patterns = [
  6.         r'合同号[:：]\s*(\d+)',      # 标准格式
  7.         r'编号[:：]\s*(\d+)',        # 常见变体
  8.         r'[\d\s]{10,20}(?=\n|$)'    # 纯数字序列（备用）
  9.     ]
  11.     for pattern in patterns:
  12.         match = re.search(pattern, pdf_text)
  13.         if match:
  14.             return match.group(1).replace(' ', '')
  15.     return "未找到合同号"

2.3 数据结构化处理

使用Pandas DataFrame构建标准数据模型：

  1. import pandas as pd
  3. def create_dataframe(results):
  4.     """将提取结果转为结构化数据"""
  5.     df = pd.DataFrame(results, columns=['文件名', '合同号'])
  6.     # 数据清洗
  7.     df['合同号'] = df['合同号'].str.strip()
  8.     return df.drop_duplicates()

三、完整实现流程

3.1 主处理流程

  1. def main_process(input_folder, output_path):
  2.     # 1. 获取所有PDF文件
  3.     pdf_files = get_pdf_files(input_folder)
  5.     # 2. 初始化结果容器
  6.     results = []
  8.     # 3. 逐文件处理
  9.     for pdf_path in pdf_files:
  10.         try:
  11.             with open(pdf_path, 'rb') as f:
  12.                 # 使用pdfplumber解析PDF
  13.                 pdf = pdfplumber.open(pdf_path)
  14.                 text = '\n'.join([p.extract_text() for p in pdf.pages])
  15.                 pdf.close()
  17.             # 提取合同号
  18.             contract_no = extract_contract_no(text)
  20.             # 记录结果
  21.             results.append({
  22.                 '文件名': os.path.basename(pdf_path),
  23.                 '合同号': contract_no
  24.             })
  26.         except Exception as e:
  27.             print(f"处理文件 {pdf_path} 时出错: {str(e)}")
  29.     # 4. 生成Excel
  30.     if results:
  31.         df = create_dataframe(results)
  32.         df.to_excel(output_path, index=False, engine='openpyxl')
  33.         print(f"处理完成！结果已保存至: {output_path}")
  34.     else:
  35.         print("未找到任何PDF文件或提取结果为空")

3.2 执行脚本示例

  1. if __name__ == "__main__":
  2.     # 配置参数
  3.     INPUT_FOLDER = r'G:\pdf\合同'  # PDF存放目录
  4.     OUTPUT_FILE = r'G:\pdf\合同\合同号.xlsx'  # 输出路径
  6.     # 执行处理
  7.     main_process(INPUT_FOLDER, OUTPUT_FILE)

四、性能优化方案

4.1 多线程加速处理

对于超大规模文档集（1000+文件），建议使用线程池：

  1. from concurrent.futures import ThreadPoolExecutor
  3. def parallel_process(pdf_files, max_workers=4):
  4.     results = []
  5.     with ThreadPoolExecutor(max_workers=max_workers) as executor:
  6.         futures = []
  7.         for pdf_path in pdf_files:
  8.             futures.append(executor.submit(process_single_file, pdf_path))
  10.         for future in futures:
  11.             results.extend(future.result())
  12.     return results

4.2 异常处理增强

添加重试机制和详细日志记录：

  1. import logging
  2. from tenacity import retry, stop_after_attempt, wait_exponential
  4. logging.basicConfig(
  5.     filename='pdf_processor.log',
  6.     level=logging.INFO,
  7.     format='%(asctime)s - %(levelname)s - %(message)s'
  8. )
  10. @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1))
  11. def safe_extract_text(pdf_path):
  12.     try:
  13.         with open(pdf_path, 'rb') as f:
  14.             pdf = pdfplumber.open(pdf_path)
  15.             text = '\n'.join([p.extract_text() for p in pdf.pages])
  16.             pdf.close()
  17.         return text
  18.     except Exception as e:
  19.         logging.error(f"提取文件 {pdf_path} 失败: {str(e)}")
  20.         raise

五、常见问题解决方案

5.1 中文乱码问题

  • 确保使用pdfplumber而非PyPDF2（后者对中文支持较差）
  • 检查系统是否安装中文字体（如simsun.ttc）

5.2 合同号识别失败

  • 扩展正则表达式模式，添加更多变体
  • 调试时输出原始文本片段辅助分析： 
    1. def debug_extract(pdf_text):
    2.   print("=== 文本片段 ===")
    3.   print(pdf_text[:500])  # 打印前500字符
    4.   # 测试不同模式
    5.   for pattern in patterns:
    6.       print(f"模式 {pattern}: {re.search(pattern, pdf_text)}")

5.3 大文件处理优化

  • 对超过50页的PDF采用分页处理： 
    1. def extract_large_pdf(pdf_path):
    2.   pdf = pdfplumber.open(pdf_path)
    3.   full_text = ""
    4.   for i, page in enumerate(pdf.pages):
    5.       if i > 0 and i % 10 == 0:  # 每10页处理一次
    6.           contract_no = extract_contract_no(full_text)
    7.           if contract_no != "未找到合同号":
    8.               return contract_no
    9.           full_text = ""
    10.       full_text += page.extract_text() or ""
    11.   pdf.close()
    12.   return extract_contract_no(full_text)

六、扩展应用场景

本方案可轻松扩展至以下场景：

  1. 发票信息提取：修改正则表达式匹配税号、金额等字段
  2. 报告数据挖掘：提取特定章节的关键指标
  3. 文档归档系统：自动生成文档元数据索引

通过调整extract_contract_no()函数中的正则表达式模式，即可适配不同格式的文档处理需求。建议将核心逻辑封装为类，提高代码复用性：

  1. class PDFDataExtractor:
  2.     def __init__(self, patterns):
  3.         self.patterns = patterns
  5.     def extract(self, text):
  6.         for pattern in self.patterns:
  7.             match = re.search(pattern, text)
  8.             if match:
  9.                 return match.group(1)
  10.         return None

本方案通过模块化设计实现了高可扩展性，开发者可根据实际需求灵活调整各组件。对于企业级应用，建议添加数据库持久层和Web界面，构建完整的文档处理工作流系统。

最新文章