知行编程网知行编程网  2022-06-16 18:00 知行编程网 |  隐藏边栏 |   抢沙发 |  4 
文章评分 0 次，平均分 0.0 ：

使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源

贾浩楠 发自 凹非寺

转自 | 量子位

“表哥表姐”们还在为大量PDF文件中的表格发愁吗？
百度一下，网上有大量提取PDF表格的工具，但是，它们都只支持文本格式PDF。
但扫描生成的图片表格怎么办？
别着急，一种使用深度神经网络识别提取表格的开源工具可以帮助你。
兼容图片、高准确率、还不占用本地运算资源，如此实用的工具值得你拥有。

   测试实例

如果在输入的PDF文件中检测的表格，模型会在边界框（bounding box）标出表格边框：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
然后，表格数据会被转化为Panda数据框架，方便后续处理：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
怎么样，是不是很实用？那这个工具如何使用呢？

   使用姿势详解

神经网络算法，还不占用本地运算资源？
对，你没听错，这个工具的所有代码都可以在谷歌Colab上运行。也就是说你可以利用Colab云端资源完成训练和推理，无需本地安装。
这个工具使用到的深度神经网络是Keras-RetinaNet，首先要在Colab上安装Keras-RetinaNet，通过一下一行代码就可以完成：
同时需要安装必要的库：


训练Keras-RetinaNet识别表格

首先要构建或一个训练使用的数据库。
这里要用到Colab工具PDF2Img，将PDF文件转为JPG格式供算法学习。
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
然后将转好的图片保存在Images文件夹中。接下来需要手动给这些训练数据打标签，这里推荐使用在线标记工具makesense.ai。
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
将XML注释文件保存在注释文件夹中，并创建用于培训和测试的PDF文件列表，将该列表导入train.txt和test.txt中。
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
接下来，克隆Github项目https://github.com/ferrygun/PDFTableExtract，并安装beautifulsoup。
运行以下命令以将PASCALVOC格式转换为Keras-RetinaNet所需的格式：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
运行上述命令后，会得到retinanet_classes.csv，retinanet_test.csv和retinanet_train.csv。
在retinanet_classses.csv中，由于只识别PDF文档中的表，所以只有到一个class，即class 0。
如果你在打标签的过程中加入页眉页脚等标签，相应能得到多个class。
完整的文件和文件夹结构的列表：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
然后，将retinanet_classes.csv，retinanet_test.csv，retinanet_train.csv，train.txt和test.txt 导入keras-retinanet的根文件夹中：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
接下来，运行Colab TrainOCR，可以根据要训练的JPG文件数量来调整训练的epoch数量。
训练完成后，就会得到权重文件output.h5，下载此文件并将其保存到本地主机。后面将使用该文件来运行测试。
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
这里需要注意的一点是，在Colab中，已将文件上传到Git并进行了Git克隆。

运行测试

运行测试前，还需要安装处理PDF文件必要的库。
PyPDF2是一个python工具库，能够提取文档信息，裁剪页面等。
使用以下命令安装此库：
Camelot是专门用于解析PDF页面表格的python库。
使用以下命令安装此库：
PDF2IMG是将Python转换为PIL Image对象的python库。
使用以下命令安装此库：
在运行预测之前，需要使用从训练中获得的权重文件output.h5加载模型，并从retinanet_classes.csv定义标签class 0。
接下来运行测试
如果检测的表格，模型会在边界框（bounding box）标出表格边框：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源
边界框坐标（x1，y1，x2，y2），将table_area输入到Camelot read_pdf函数中，table_area是已标准化的边界框。
这样就可以将表格数据转化为Panda数据框架，方便后续处理：
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源

   图片怎么办

针对扫描图片格式的PDF表格，可以使用Ocrmypdf包来将图片格式PDF转为文本格式。
Ocrmypdf是一个python软件包，可将基于图像的pdf转换为基于文本的PDF。
安装ocrmypdf，可以通过以下命令行将其用于macOS和Linux：
通过以下命令调用：
之后就可以按照上面的方法进行表格提取了。
怎么样，这款兼容图片，又能白嫖谷歌GPU的PDF表格工具对你有帮助吗？
项目地址：https://github.com/ferrygun/PDFTableExtract
在线打标签工具：https://www.makesense.ai/


<section style="white-space: normal;line-height: 1.75em;text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;widows: 1;background-color: rgb(255, 255, 255);font-size: 16px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></section><pre><pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;widows: 1;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">长尾分布下图像分类问题最新综述（2019-2020）</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">LSTM终获正名，获IEEE 2021神经网络先驱奖！<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">特朗普拿H1B签证开刀，LeCun吴恩达等实名谴责！</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">数据分析入门常用的23个牛逼Pandas代码</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="color: rgb(87, 107, 149);font-size: 14px;">如何在科研论文中画出漂亮的插图？</span><br  /></section></section></section></section></section></section></section></section></section>
使用神经网络提取PDF表格工具来了，支持图片，关键是能白嫖谷歌GPU资源

本篇文章来源于: 深度学习这件小事

本文为原创文章，版权归所有，欢迎分享本文，转载请保留出处！

知行编程网
知行编程网 关注：1    粉丝：1
这个人很懒，什么都没写

你可能也喜欢

热评文章

上一篇
下一篇

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享
 繁