起因:

  因为个人原因, 这些天了解了一下Python处理PDF的方法.

  首先是PDF转txt, 这个方法比较多, 这里就不再赘述, 主要聊一下PDF中的图片获取.

  这里用我自己的例子, 不过具体情况还得具体分析.

 

工具:  pdfminer, pillow, fitz, re

思路:

  1.  使用pdfminer解析PDF, 通过当前页的LTpage对象, 获取关键词的position与当前LTpage的size.

  2.  使用fitz将当前页的PDF转换为PNG

  3.  使用pillow, 通过第一步得到的参数来从第二步得到的PNG中截取目标图表

关键词:  “[图表]*\s\d+[::]”, “来源[::]”

代码:

  1 from pdfminer.pdfparser import PDFParser, PDFDocument
  2 from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
  3 from pdfminer.converter import PDFPageAggregator
  4 from pdfminer.layout import LAParams
  5 from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
  6 from PIL import Image
  7 import fitz
  8 import re
  9 import os
 10 
 11 
 12 class GetPic:
 13     def __init__(self, filename, password=\'\'):
 14         """
 15         初始化
 16         :param filename: pdf路径
 17         :param password: 密码
 18         """
 19         with open(filename, \'rb\') as file:
 20             # 创建文档分析器
 21             self.parser = PDFParser(file)
 22         # 创建文档
 23         self.doc = PDFDocument()
 24         # 连接文档与文档分析器
 25         self.parser.set_document(self.doc)
 26         self.doc.set_parser(self.parser)
 27         # 初始化, 提供初始密码, 若无则为空字符串
 28         self.doc.initialize(password)
 29         # 检测文档是否提供txt转换, 不提供就忽略, 抛出异常
 30         if not self.doc.is_extractable:
 31             raise PDFTextExtractionNotAllowed
 32         else:
 33             # 创建PDF资源管理器, 管理共享资源
 34             self.resource_manager = PDFResourceManager()
 35             # 创建一个PDF设备对象
 36             self.laparams = LAParams()
 37             self.device = PDFPageAggregator(self.resource_manager, laparams=self.laparams)
 38             # 创建一个PDF解释器对象
 39             self.interpreter = PDFPageInterpreter(self.resource_manager, self.device)
 40             # pdf的page对象列表
 41             self.doc_pdfs = list(self.doc.get_pages())
 42         #  打开PDF文件, 生成一个包含图片doc对象的可迭代对象
 43         self.doc_pics = fitz.open(filename)
 44 
 45     def to_pic(self, doc, zoom, pg, pic_path):
 46         """
 47         将单页pdf转换为pic
 48         :param doc: 图片的doc对象
 49         :param zoom: 图片缩放比例, type int, 数值越大分辨率越高
 50         :param pg: 对象在doc_pics中的索引
 51         :param pic_path: 图片保存路径
 52         :return: 图片的路径
 53         """
 54         rotate = int(0)
 55         trans = fitz.Matrix(zoom, zoom).preRotate(rotate)
 56         pm = doc.getPixmap(matrix=trans, alpha=False)
 57         path = os.path.join(pic_path, str(pg)) + \'.png\'
 58         pm.writePNG(path)
 59         return path
 60 
 61     def get_pic_loc(self, doc):
 62         """
 63         获取单页中图片的位置
 64         :param doc: pdf的doc对象
 65         :return: 返回一个list, 元素为图片名称和上下y坐标元组组成的tuple. 当前页的尺寸
 66         """
 67         self.interpreter.process_page(doc)
 68         layout = self.device.get_result()
 69         # pdf的尺寸, tuple, (width, height)
 70         canvas_size = layout.bbox
 71         # 图片名称坐标
 72         loc_top = []
 73         # 来源坐标
 74         loc_bottom = []
 75         # 图片名称与应截取的区域y1, y2坐标
 76         loc_named_pic = []
 77         # 遍历单页的所有LT对象
 78         for i in layout:
 79             if hasattr(i, \'get_text\'):
 80                 text = i.get_text().strip()
 81                 # 匹配关键词
 82                 if re.search(r\'图表*\s\d+[::]\', text):
 83                     loc_top.append((i.bbox, text))
 84                 elif re.search(r\'来源[::]\', text):
 85                     loc_bottom.append((i.bbox, text))
 86         zip_loc = zip(loc_top, loc_bottom)
 87         for i in zip_loc:
 88             y1 = i[1][0][1]
 89             y2 = i[0][0][3]
 90             name = i[0][1]
 91             loc_named_pic.append((name, (y1, y2)))
 92         return loc_named_pic, canvas_size
 93 
 94     def get_crops(self, pic_path, canvas_size, position, cropped_pic_name, cropped_pic_path):
 95         """
 96         按给定位置截取图片
 97         :param pic_path: 被截取的图片的路径
 98         :param canvas_size: 图片为pdf时的尺寸, tuple, (0, 0, width, height)
 99         :param position: 要截取的位置, tuple, (y1, y2)
100         :param cropped_pic_name: 截取的图片名称
101         :param cropped_pic_path: 截取的图片保存路径
102         :return:
103         """
104         img = Image.open(pic_path)
105         # 当前图片的尺寸 tuple(width, height)
106         pic_size = img.size
107         # 截图的范围扩大值
108         size_increase = 10
109         x1 = 0
110         x2 = pic_size[0]
111         y1 = pic_size[1] * (1 - (position[1] + size_increase)/canvas_size[3])
112         y2 = pic_size[1] * (1 - (position[0] - size_increase)/canvas_size[3])
113         cropped_img = img.crop((x1, y1, x2, y2))
114         # 保存截图文件的路径
115         path = os.path.join(cropped_pic_path, cropped_pic_name) + \'.png\'
116         cropped_img.save(path)
117         print(\'成功截取图片:\', cropped_pic_name)
118 
119     def main(self, pic_path, cropped_pic_path, pgn=None):
120         """
121         主函数
122         :param pic_path: 被截取的图片路径
123         :param cropped_pic_path: 图片的截图的保存路径
124         :param pgn: 指定获取截图的对象的索引
125         :return:
126         """
127         if pgn is not None:
128             # 获取当前页的doc
129             doc_pdf = self.doc_pdfs[pgn]
130             doc_pic = self.doc_pics[pgn]
131             # 将当前页转换为PNG, 返回值为图片路径
132             path = self.to_pic(doc_pic, 2, pgn, pic_path)
133             loc_name_pic, canvas_size = self.get_pic_loc(doc_pdf)
134             if loc_name_pic:
135                 for i in loc_name_pic:
136                     position = i[1]
137                     cropped_pic_name = re.sub(\'/\', \'_\', i[0])
138                     self.get_crops(path, canvas_size, position, cropped_pic_name, cropped_pic_path)
139 
140 
141 if __name__ == \'__main__\':
142     pdf_path = \'要处理的PDF的路径\'
143     test = GetPic(pdf_path)
144     pic_path = \'PNG的保存路径\'
145     cropped_pic_path = \'截图的保存路径\'
146     page_count = test.doc_pics.pageCount
147     for i in range(page_count):
148         test.main(pic_path, cropped_pic_path, pgn=i)

本例局限:

  1.  目标PDF需要可以用pdfminer里的LTPage对象解析出文字.

  2.  PDF中没有跳页的图表.

  3.  截图的时候只用了y轴截图, x轴上可能出现多个图表

局限解决方案:

  1.  目前没有去尝试, 或许PyPDF2可以试一试?

  2.  这里的函数都是处理单页的, 所有在处理连页图片时会出现问题, 不过解决方法也很简单. 就是将 loc_top、loc_bottom设置为全局变量并且加上页码的索引, 这样loc_top和loc_bottm中的元素就能够一一对应. 再加上一个判断, top的y轴坐标比bottom小的话, 就截取两张图片, top的y轴坐标至页尾和bottom的y轴坐标至页头. 有兴趣的可以自己尝试一下.

  3.  这个问题的话, 一是可以后期通过其它库再按照一定的方法截取一次; 二是可以在一次截取的时候加上x轴的左坐标来确定目标位置, 因为如果同一y轴范围内只有一个图表的话, x轴右坐标就无关紧要类, 如果同一y轴范围内有两个图标的话, 通过x轴左坐标也能化界, 如果有两个以上的图标时候就需要加上x轴的右坐标了.

 

结语: 

  这里只是提供了一种思路, 方法其实还是很不完善的, 很多小细节都没有去解决.

  还有一种思路是将PDF转换为PNG之后直接识别其中的关键词左边来获取截图, 这个的话大家也可以去了解一下, 用tesserocr库应该可以解决.

版权声明:本文为yangshaolun原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/yangshaolun/p/10878033.html