融合边特征与注意力的表格结构识别模型

doi:10.11772/j.issn.1001-9081.2022010053

《计算机应用》唯一官方网站››2023,第43卷››问题（3）: 752-758.内政部：10.11772/j.issn.1001-9081.2022010053

• 人工智能 • 上一篇

融合边特征与注意力的表格结构识别模型

吕学强¹,张煜楠¹,韩晶¹(),崔运鹏²,李欢²

¹网络文化与数字传播北京市重点实验室(北京信息科技大学), 北京 100101
²农业农村部农业大数据重点实验室(中国农业科学院农业信息研究所), 北京 100081

收稿日期:2022-01-17 修回日期:2022-04-06 接受日期:2022-04-11 发布日期:2022-04-26 出版日期:2023-03-10
通讯作者:韩晶
作者简介:吕学强（1970—），男，辽宁抚顺人，教授，博士，主要研究方向：多媒体信息处理
张煜楠（1996—），男，北京人，硕士研究生，主要研究方向：计算机视觉
韩晶（1990—），女，河北邯郸人，助理研究员，博士，主要研究方向：图像处理
崔运鹏（1972—），男，吉林和龙人，研究员，博士，主要研究方向：农业信息技术
李欢（1992—），女，湖北红安人，研究员，硕士，主要研究方向：数据挖掘。
基金资助:
国家自然科学基金资助项目(62171043)

融合边缘特征和注意力的表结构识别模型

李雪强¹,张云南（Yunan ZHANG）¹,京汉¹(),崔云鹏²,李欢²

¹网络文化与数字传播研究北京市重点实验室（北京信息科技大学），北京100101
²农业部农业大数据重点实验室（中国农业科学院农业信息研究所），北京100081

收到：2022-01-17 修订过的：2022-04-06 认可的：2022-04-11 在线：2022-04-26 出版：2023-03-10
联系人：京汉
关于作者：吕雪强，1970年生，博士，教授。他的研究兴趣包括多媒体信息处理。
张云南，1996年出生，硕士研究生。他的研究兴趣包括计算机视觉。
崔云鹏，1972年生，博士，研究员。他的研究兴趣包括农业信息技术。
李欢，1992年生，硕士，研究员。她的研究兴趣包括数据挖掘。
支持单位：
国家自然科学基金项目（62171043）

摘要/摘要

摘要：

针对现有方法在表格结构识别问题中存在的先验知识依赖、鲁棒性不足、表达能力不足等问题，提出一种新的融合边特征与注意力的表格结构识别模型——GEAN-TSR公司首先，提出图边注意力网络（通用电气）并作为模型的主干网络，在边卷积结构的基础上引入并改进图注意力机制聚合图节点特征，解决图网络在特征提取过程中的信息损失的问题，提高图网络的表达能力；然后，引入边特征融合模块融合浅层图节点信息与图网络输出，增强图网络的局部信息提取能力与表达能力；最后，将门控循环单元（GRU）提取的图节点文本特征融入文本特征融合模块对边进行分类预测。在SciTSR-COMP公司数据集上的对比实验中，相较于目前最优的模型SEM，GEAN-TSR F1个百分点。在消融实验中，GEAN-TSR公司采用特征融合模块后，所有指标都取得了最优值，验证了模块的有效性。实验结果表明，GEAN-TSR公司能够有效提升网络性能，更好地完成表格结构识别任务。

关键词: 图神经网络, 图注意力网络, 特征融合, 表格结构识别, 表格解析

摘要：

针对现有表结构识别方法中存在的依赖先验知识、鲁棒性不足、表达能力不足等问题，提出了一种融合边缘特征和注意的新的表结构识别模型，即基于图边缘-注意网络的表结构识别模型（GEAN-TSR）。首先，图边缘注意网络（GEAN）提出作为主干网络，并基于边缘卷积结构，引入并改进了图注意机制，以聚集图节点特征，从而解决了图网络特征提取过程中的信息丢失问题，提高了图网络的表达能力。然后，引入边缘特征融合模块，将浅层图形节点信息与图形网络输出进行融合，以增强图形网络的局部信息提取和表达能力被集成到文本特征融合模块中，用于边缘的分类和预测。在SciTSR-COMP数据集上的对比实验表明，与现有的最优模型Split，Embed and Merge（SEM）相比，GEAN-TSR的召回率和F1分数分别提高了2.5和1.4个百分点。烧蚀实验表明，使用特征融合模块后，GEAN-TSR的各项指标均达到了最优值，证明了该模块的有效性。实验结果表明，GEAN-TSR可以有效地提高网络性能，更好地完成表结构识别任务。

关键词： 图形神经网络，图形注意力网络，特征融合，表结构识别，表解析

中图分类号:

TP391.4标准

吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J] ●●●●。计算机应用, 2023, 43(3): 752-758.

LYUEQiang，Yunan ZHANG，Jing HAN，Yunpeng CUI，Huan LI.融合边缘特征和注意力的表结构识别模型[J]。计算机应用杂志，2023，43（3）：752-758。

图/表11

参考文献19

1	ITONORI K.基于文本块排列和规则线位置的表结构识别〔C〕//第二届国际文献分析与识别会议论文集。皮斯卡塔韦：IEEE1993： 765-768.10.1109/icdar.1993.395796
2	SHIGAROV A O，FEDOROV R K.页面布局分析的简单算法〔J〕。模式识别与图像分析，2011，21（2）：324-327.10.1134/s1054661811021008号
三	拉梅尔J Y，克鲁西亚努M，文森特N，等.表的检测、提取和表示〔C〕//第七届国际文献分析与识别会议论文集。皮斯卡塔韦：IEEE2013： 374-378.
4	SHIGAROV A、MIKHAILOV A和ALTAEV A.未标记PDF文档中的可配置表结构识别〔C〕//2016年ACM文档工程研讨会论文集。纽约：ACM2016：119-122.10.1145/2960811.2967152
5	PALIWAL S S，VISHWANATH D，RAHUL R，et al.TableNet:从扫描文档图像中进行端到端表格检测和表格数据提取的深度学习模型〔C〕//第十五届IAPR国际文档分析与识别会议论文集。皮斯卡塔韦：IEEE2019：128-133.10.1109/icdar.2019.00029
6	TENSMEYER C，MORARIU V I，PRICE B，等.表结构分解的深度分裂与合并〔C〕//第15届IAPR国际文献分析与识别会议论文集。皮斯卡塔韦：IEEE2019： 114-121.10.1109/icdar.2019.00027
7	SIDDIQUI S A，FATEH I A，RIZVI S T R，et al.DeepTabStR:基于深度学习的表结构识别〔C〕//2019年国际文档分析与识别会议论文集。皮斯卡塔韦：IEEE2019： 1403-1409.10.1109/icdar.2019.00226
8	乔磊，李志思，程志Z，等.LGPMA：基于局部和全局金字塔模板对齐的复杂表格结构识别〔C〕//2021年国际文献分析与识别会议论文集，LNCS12821查姆：施普林格，2021:99-114。10.448550/arXiv.2105.06224
9	QASIM S R，MAHMOOD H，SHAFAIT F.用图神经网络重新思考表格识别〔C〕//第十五届IAPR国际文献分析与识别会议论文集。皮斯卡塔韦：IEEE2019： 142-147.10.1109/icdar.2019.00031
10	李义荣，黄忠，颜建中，等.基于图的财务表提取〔C〕//2021年模式识别国际会议论文集，LNCS12662查姆：施普林格，2021:644-658。
11	徐冰冰，岑科廷，黄俊杰，等. 图卷积神经网络综述［记者：。计算机学报，2020，43（5）： 755-780.10.11897/SP.J.1016.2020.00755
	徐伯斌，岑克堂，黄建杰，等.图卷积神经网络研究综述〔J〕。中国计算机杂志，2020，43（5）： 755-780.10.11897/SP.J.1016.2020.00755
12	王毅，孙毅，刘Z，等.点云学习的动态图CNN〔J〕。ACM图形事务，2019，38（5）：1-12.10.1145/3326362
13	韦利·科维奇·P，卡萨诺娃A，LIO P，等.图形注意网络〔EB/OL〕。（2018-02-04）［2021-08-14］. .
14	BRODY S、ALON U和YAHAV E。图形注意力网络的注意力有多集中EB/OL）。（2021-08-11）［2021-08-20］. .
15	GBEL M，HASSAN T，ORO E，et al.PDF文档中表格理解算法的评估方法〔C〕//2012年ACM文档工程研讨会论文集.纽约：ACM2012： 45-48.10.1145/2361354.2361365
16	SCHRIEBER S，AGNE S，WOLF I，et al.DeepDeSRT:文档图像中表格检测和结构识别的深度学习〔C〕//第14届IAPR国际文档分析与识别会议论文集。皮斯卡塔韦：IEEE2017： 1162-1167.10.1109/icdar.2017.192
17	CHI Z，HUANG H，XU H D，等.复杂表结构识别〔EB/OL〕。（2019-08-28）［2021-09-10］. .
18	张志荣，张俊生，杜杰，等.拆分、嵌入与合并：一种精确的表结构识别器〔J〕。模式识别，2022，126:第108565号。2016年10月10日/j.patcog.2022.108565
19	RAJA S，MONDAL A，JAWAHAR C V.使用自顶向下和自下而上线索进行表格结构识别〔C〕//2020年欧洲计算机视觉会议论文集。查姆：斯普林格2020： 70-86.10.1007/978-3-030-58604-1_5

主干网模型	模型大小/MB（MB）	参数量/10⁶	平均预测时间/秒
通用控制网络	9.2	2.40	零点零零二九
关贸总协定	9.4	2.40	零点零零三零
DGCNN（美国有线电视新闻网）	10.4	2.72	零点零零二四
GEAN公司	10.4	2.72	零点零零二九

主干网模型	模型大小/MB（MB）	参数量/10⁶	平均预测时间/秒
通用控制网络	9.2	2.40	零点零零二九
关贸总协定	9.4	2.40	零点零零三零
DGCNN（美国有线电视新闻网）	10.4	2.72	零点零零二四
GEAN公司	10.4	2.72	零点零零二九

模型	测试集	精确率	召回率	F1英寸
斑猫	科学技术研究院	0.914	0.910	0.912
	SciTSR-COMP公司	0.869	0.841	0.855
	ICDAR 2013	0.846	0.862	0.854
深度DeSRT	科学技术研究院	0.906	0.887	0.890
	SciTSR-COMP公司	0.863	0.831	0.846
	ICDAR 2013	0.632	0.617	0.854
图TSR	科学技术研究院	0.959	0.948	0.953
	SciTSR-COMP公司	0.964	0.945	0.955
	ICDAR 2013	0.885	0.860	0.872
扫描电镜	科学技术研究院	0.977	0.965	0.971
扫描电镜	SciTSR-COMP公司	0.968	0.947	0.957
选项卡结构-网络	ICDAR 2013	0.915	0.897	0.906
GEAN-TSR公司	科学技术研究院	0.976	0.990	0.983
	SciTSR-COMP公司	0.970	0.972	0.971
	ICDAR 2013	0.900	0.936	0.913

模型	测试集	精确率	召回率	F1英寸
斑猫	科学技术研究院	0.914	0.910	0.912
	SciTSR-COMP公司	0.869	0.841	0.855
	ICDAR 2013	0.846	0.862	0.854
深度DeSRT	科学技术研究院	0.906	0.887	0.890
	SciTSR-COMP公司	0.863	0.831	0.846
	ICDAR 2013	0.632	0.617	0.854
图TSR	SciTSR公司	0.959	0.948	0.953
	SciTSR-COMP公司	0.964	0.945	0.955
	ICDAR 2013	0.885	0.860	0.872
扫描电镜	科学技术研究院	0.977	0.965	0.971
扫描电镜	SciTSR-COMP公司	0.968	0.947	0.957
选项卡结构-网络	ICDAR 2013	0.915	0.897	0.906
GEAN-TSR公司	科学技术研究院	0.976	0.990	0.983
	SciTSR-COMP公司	0.970	0.972	0.971
	ICDAR 2013	0.900	0.936	0.913

实验数据集	模型	精确率	召回率	F1英寸
科学技术研究院	DGCNN（美国有线电视新闻网）	0.966	0.983	0.974
	GEAN公司	0.971	0.985	0.977
	GEAN+电子	0.970	0.987	0.978
	GEAN+公司	0.973	0.984	0.979
	本文模型	0.975	0.990	0.983
发布选项卡网络	DGCNN（美国有线电视新闻网）	0.973	0.952	0.962
	GEAN公司	0.976	0.963	0.969
	GEAN+电子	0.979	0.962	0.970
	GEAN+公司	0.982	0.964	0.973
	本文模型	0.982	0.966	0.974

融合边特征与注意力的表格结构识别模型

融合边缘特征和注意力的表结构识别模型

RichHTML格式

PDF格式

可视化

摘要/摘要

引用本文

使用本文

图/表11

参考文献19

相关文章15

编辑推荐

韵律学

[1]	李路宝, 陈田, 任福继, 罗蓓蓓.基于图神经网络和注意力的双模态情感识别方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(3): 700-705.
[2]	王雨, 袁玉波, 过弋, 张嘉杰.情感增强的对话文本情绪识别模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(3): 706-712.
[3]	王萍, 陈楠, 鲁磊.基于场景先验及注意力引导的跌倒检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 529-535.
[4]	陈刚, 廖永为, 杨振国, 刘文印.基于多特征融合的多尺度生成对抗网络图像修复算法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 536-544.
[5]	李文举, 张干, 崔柳, 储王慧.基于坐标注意力的轻量级交通标志识别模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[6]	杨洪刚, 陈洁洁, 徐梦飞.双线性内卷神经网络用于眼底疾病图像分类[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 259-264.
[7]	吕玉超, 姜茜, 徐英豪, 朱习军.基于多尺度特征融合的改进臂丛神经分割方法[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[8]	张军, 吴朋莉, 石陆魁, 史进, 潘斌.联合模块11A1和地面气象站点数据的多站点温度预测深度学习模型[J] ●●●●。《计算机应用》唯一官方网站, 2023, 43(1): 321-328.
[9]	强赞霞, 鲍先富.基于卷积长短期记忆的残差注意力去雨网络[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[10]	杜航原, 郝思聪, 王文剑.结合图自编码器与聚类的半监督表示学习方法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(9): 2643-2651.
[11]	孟昱煜, 郭静.信息熵改进主成分分析模型的链路预测算法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(9): 2823-2829.
[12]	杨瑞杰, 郑贵林.基于开胃V3和特征融合的人脸活体检测[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(7): 2037-2042.
[13]	李晓寒, 王俊, 贾华丁, 萧刘.基于多重注意力机制的图神经网络股市波动预测方法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(7): 2265-2273.
[14]	张达为, 刘绪崇, 周维, 陈柱辉, 余瑶.基于改进YOLOv3型的实时交通标志检测算法[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(7): 2219-2226.
[15]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界.基于元路径注意力机制的MOOC公司[J] ●●●●。《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.