×
王军;文、李红;肖璐;王朝杰

使用变压器对死亡率进行时间序列预测。 （英语） Zbl 1534.91136号

扫描。演员。J。 2024年，第2期，第109-123页（2024年）.
摘要：预测死亡率是人寿保险定价和人口统计中的一个关键问题。传统方法，如Lee-Carter模型及其变体，使用因子模型预测死亡率的趋势，从年龄、性别、地区和其他因素的角度解释死亡率的变化。近年来，深度学习技术在各种任务中取得了巨大成功，并显示出强大的时间序列预测潜力。本文提出了一种改进的Transformer结构，用于预测世界主要国家的死亡率。通过多头部注意机制和位置编码，所提出的Transformer模型有效地提取关键特征，从而在时间序列预测中获得更好的性能。通过使用人类死亡率数据库的经验数据，我们证明我们的Transformer模型比Lee-Carter模型和其他经典神经网络具有更高的死亡率预测精度。我们的模型为保险公司和政策制定者提供了强大的预测工具。

MSC公司：

91G05号 精算数学
91D20型 数学地理学和人口学
68T07型 人工神经网络与深度学习

关键词：

死亡率;时间序列预测;深度学习;变压器

软件：

BERT（误码率）;单词2vec;张紧器2传感器;ImageNet公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Wang}等人，Scand。演员。J.2024，第2号，109--123（2024；Zbl 1534.91136）
全文： 内政部

参考文献：

[1] Bahdanau，D.、Cho，K.和Bengio，Y.（2014）。神经机器翻译通过联合学习对齐和翻译。arXiv预打印arXiv:1409.0473。
[2] Booth，H.、Maindonald，J.&Smith，L.（2002）。在可变死亡率下降条件下应用Lee-Carter。人口研究56（3），325-336。
[3] Brouhns，N.、Denuit，M.和Vermunt，J.K.（2002年）。一种用于构建投影生命表的泊松对数双线性回归方法。保险：数学与经济31（3），373-393·Zbl 1074.62524号
[4] Cairns，A.J.，Blake，D.&Dowd，K.（2006年）。具有参数不确定性的随机死亡率双因素模型：理论和校准。《风险与保险杂志》73（4），687-718。
[5] Cairns，A.J.、Blake，D.、Dowd，K.、Coughlan，G.D.、Epstein，D.、Ong，A.和Balevich，I.（2009年）。使用英格兰、威尔士和美国的数据对随机死亡率模型进行定量比较。北美精算杂志13（1），1-35·Zbl 1484.91376号
[6] Devlin，J.、Chang，M.-W.、Lee，K.和Toutanova，K.（2018年）。伯特：深度双向变形金刚的语言理解预训练。arXiv预印本arXiv：1810.04805。
[7] Egmont-Petersen，M.、de Ridder，D.和Handels，H.（2002）。神经网络图像处理综述。模式识别35（10），2279-2301·Zbl 1006.68884号
[8] He，K.，Zhang，X.，Ren，S.&Sun，J.（2016）。用于图像识别的深度残差学习。IEEE计算机视觉和模式识别会议论文集。第770-778页。会议（CVPR 2016）在美国拉斯维加斯举行
[9] Hinton，G.E.、Srivastava，N.、Krizhevsky，A.、Sutskever，I.和Salakhutdinov，R.R.（2012）。通过防止特征检测器的联合自适应来改进神经网络。arXiv预打印arXiv:1207.0580。
[10] Hochreiter，S.&Schmidhuber，J.（1997）。长短期记忆。神经计算9（8），1735-1780。
[11] Huang，Y.、Shen，L.和Liu，H.（2019）。基于长短期记忆的中国碳排放灰色关联分析、主成分分析和预测。清洁生产杂志209，415-423。
[12] Hüsken，M.&Stagge，P.（2003）。用于时间序列分类的递归神经网络。神经计算机50223-235·Zbl 1006.68822号
[13] Jumper，J.、Evans，R.、Pritzel，A.、Green，T.、Figurnov，M.、Ronneberger，O.、Tunyasuvunakool，K.、Bates，R.，Zhidek，A.、Potapenko，A.和Bridgeland，A.（2021）。使用AlphaFold进行高精度蛋白质结构预测。《自然》596（7873），583-589。
[14] Kingma，D.P.&Welling，M.（2013）。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114。
[15] Klenk，J.、Keil，U.、Jaensch，A.、Christiansen，M.C.和Nagel，G.（2016）。1950-2010年预期寿命的变化：选定国家特定年龄和疾病死亡率的贡献。人口健康指标14（1），1-11。
[16] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2017年）。基于深度卷积神经网络的Imagenet分类。ACM60（6）的通信，84-90。
[17] Lee，R.D.和Carter，L.R.（1992）。美国死亡率建模和预测。《美国统计协会杂志》87（419），659-671·Zbl 1351.62186号
[18] Li，H.&Lu，Y.（2017）。死亡率的相干预测：稀疏向量自回归方法。ASTIN公告：IAA47期刊（2），563-600·兹比尔139062215
[19] Li，J.和Wong，K.（2020年）。将结构变化纳入死亡率改进中，用于死亡率预测。《斯堪的纳维亚精算杂志2020》（9），776-791·Zbl 1454.91198号
[20] Lim，B.和Zohren，S.（2021年）。时间序列预测与深度学习：一项调查。皇家学会哲学学报A379（2194），20200209。
[21] Lindholm，M.和Palmborg，L.（2022）。有效使用LSTM死亡率预测数据。《欧洲精算杂志》12，749-778·Zbl 1505.91334号
[22] Mikolov，T.、Chen，K.、Corrado，G.和Dean，J.（2013）。向量空间中单词表示的有效估计。arXiv预打印arXiv:1301.3781。
[23] Mnih，V.、Heess，N.、Graves，A.和Kavukcuoglu，K.（2014）。视觉注意的重复模型。神经信息处理系统进展27。2204年至2212年。
[24] Nigri，A.、Levantesi，S.、Marino，M.、Scognamiglio，S.和Perla，F.（2019年）。深度学习集成Lee Carter模型。风险7（1），33。
[25] Parmar，N.、Vaswani，A.、Uszkoreit，J.、Kaiser，L.、Shazeer，N.，Ku，A.和Tran，D.（2018年）。图像转换器。在机器学习国际会议上。P.4055-4064会议（ICML 2018）在瑞典斯德哥尔摩举行
[26] Perla，F.、Richman，R.、Scognamiglio，S.&Wüthrich，M.V.（2021）。使用深度学习进行死亡率的时间序列预测。斯堪的纳维亚精算杂志2021（7），572-598·Zbl 1471.91480号
[27] Perla，F.和Scognamiglio，S.（2023年）。基于神经网络的局部相关多种群死亡率建模。《经济与金融决策》46，157-176·Zbl 1518.91200号
[28] Pitaco，E.、Denuit，M.、Haberman，S.和Olivieri，A.（2009年）。养老金和年金业务的寿命动态建模。牛津大学出版社·Zbl 1163.91005号
[29] Richman，R.&Wüthrich，M.V.（2021）。Lee-Carter模型的神经网络扩展到多个种群。精算科学年鉴15（2），346-366。
[30] Schnürch，S.&Korn，R.（2022）。使用神经网络对死亡率进行点和区间预测。阿斯廷公报：IAA52期刊（1），333-360·Zbl 1484.91404号
[31] Scognamiglio，S.（2022年）。通过神经网络校准Lee-Carter和Poisson-Lee-Carter模型。阿斯廷公报：IAA52（2），519-561·Zbl 1492.91314号
[32] 石寅（2021）。用自适应时空自回归模型预测死亡率。《预测杂志》40（3），528-546。
[33] Tang，W.、Long，G.、Liu，L.、Zhou，T.、Blumenstein，M.和Jiang，J.（2022）。全尺度CNN：用于时间序列分类的简单有效的内核大小配置。在学习代表国际会议上。美国芝加哥。
[34] Tetko，I.V.、Karpov，P.、Van Deursen，R.和Godin，G.（2020年）。用于直接和单步逆合成的最新增强NLP变压器模型。《自然通讯》11（1），1-11。
[35] Vaswani，A.、Shazeer，N.、Parmar，N.，Uszkoreit，J.、Jones，L.、Gomez，A.N.、Kaiser，ŁPolosukhin，I.（2017）。注意力就是你所需要的。神经信息处理系统的进展30，5998-6008。
[36] Wang，C.，Chen，Y.，Zhang，S.和Zhang and Q.（2022）。使用深度变压器模型预测股市指数。应用专家系统208118128。
[37] Wang，C.-W.，Zhang，J.和Zhu，W.（2021）。死亡率的邻近预测。ASTIN公告：IAA51期刊（3），689-718·Zbl 1480.91248号
[38] Wen，Q.，Zhou，T.，Zhang，C.，Chen，W.，Ma，Z.，Yan，J.&Sun，L.（2022）。时间序列中的变形金刚：一项调查。arXiv预打印arXiv:2202.07125。
[39] Xi，E.、Bing，S.和Jin，Y.（2017）。封装复杂数据的网络性能。arXiv预打印arXiv:1712.03480。
[40] Zhou，H.，Zhang，S.，Peng，J.，Zheng，S.和Li，J.（2021）。信息员：超越长序列时间序列预测的高效变压器。在AAAI人工智能会议记录中。第35卷。第11106-11115页。会议（AAAI 2021）在加拿大温哥华举行。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。