电子书：人类语言技术——波罗的海视角

我们很高兴介绍9月22日至23日在立陶宛考纳斯举行的第九届国际会议《人类语言技术——波罗的海视角》（波罗的海HLT 2020）的会议记录，该会议由计算语言学中心和维塔塔斯·马格纳斯大学CLARIN-LT中心组织。今年的会议首次完全是虚拟的。

这个两年一度的会议首次于2004年举办，为研究人员提供了一个空间，分享波罗的海语言人类语言处理的最新进展，并促进波罗的海国家内外人类语言技术研究的跨学科和国际合作。

除了自然语言处理和语言技术的传统主题外，今年的会议还举办了一次特别会议，讨论资源和工具开发，以教授和学习资源较少的波罗的海语言。Elena Volodina（瑞典哥德堡大学）为本次会议做了主题演讲，为分享经验和讨论进一步资源开发的想法以及NLP在语言教学中的应用奠定了良好的基础。主旨发言人Jan Rybicki（波兰克拉科夫贾吉隆大学）的演讲为日益壮大的数字人文社区提供了灵感，而主旨发言人Daniel Zeman（捷克共和国布拉格查尔斯大学）讨论了普遍依赖的现状，这是一个社区努力定义跨语言适用的词法和句法注释指南。

今年我们收到了42份意见书，每一份都由两名评审员进行了评估。我们谨借此机会向方案委员会成员表示感谢，他们努力提供了富有洞察力的意见。34篇论文被接受发表。本卷的论文包括语音和文本分析（9篇论文）、机器翻译和自然语言理解（6篇论文），工具和资源（14篇论文）以及语言学习资源（5篇论文）。

我们还要感谢立陶宛研究委员会为此次会议提供资金，感谢维塔塔斯·马格纳斯大学主办此次活动，感谢欧洲语言网格组织会前活动，感谢组委会、我们的主旨发言人以及所有参与者，尽管存在种种限制，参加了虚拟会议并为会议的成功做出了贡献。

安德里乌斯·乌特卡

尤尔吉塔·瓦伊切诺尼昂

乔兰塔·科瓦列夫斯卡特

丹古尔

首次使用机器学习对爱沙尼亚代词共指消解进行了研究。在人类注释语料库上测试用于平衡数据的适当的机器学习算法和技术。结果令人鼓舞，显示F分数与深度神经网络出现之前英语的结果相当。

本研究考察了立陶宛爆破音辅音在互声、词首和词尾位置的结构模式。研究材料由24个句子组成，由6名母语为英语的人读三遍。结果表明，爆破音辅音可以由一到三个阶段组成，最常见的模式是爆裂释放结束，随后可能会有不同程度的摩擦。

最近，大型预训练语言模型（如BERT）在许多自然语言处理任务中达到了最先进的性能，但对于包括爱沙尼亚语在内的许多语言，BERT模型尚不可用。然而，有几种多语种BERT模型可以同时处理多种语言，并且也经过爱沙尼亚数据的培训。在本文中，我们评估了四种多语种模型——多语种BERT、多语种提取BERT、XLM和XLM-RoBERTa——在几个NLP任务中的性能，包括词性和词性标注、NER和文本分类。我们的目的是将这些多语言BERT模型与这些任务的现有基线神经模型进行比较。我们的结果表明，在不同的爱沙尼亚NLP任务中，多语言BERT模型能够很好地泛化，在词性标注和文本分类方面优于所有基线模型，并且达到了与NER最佳基线相当的水平，与其他多语言模型相比，XLM-RoBERTa的结果最高。

我们报告了立陶宛三种职能风格（FS）的选定特征的相似性和差异性分析：行政、科学和宣传。为了完成这项任务，我们结合了8个定量指标和多元统计分析。我们还分析了指标在特定FS中或多或少明显的趋势。

本文介绍了立陶宛社交媒体评论特定领域中基于面向方面的情绪分析任务的研究结果。描述了方法、系统架构、相关的NLP工具和资源，实验结果表明，我们的解决方案适用于解决资源不足、形态丰富和灵活的语序语言的基于方面的情感分析任务。

本文介绍了深度学习方法的研究结果，旨在确定从资源非常有限的专业领域（网络安全）自动提取立陶宛语术语的最有效方法。由于立陶宛语是一种资源较少的语言，并且在选定的领域中无法获得非监督方法所需的大量数据，因此选择了一种半监督的深度学习方法进行研究。研究结果表明，具有来自变压器的双向编码器表示（BERT）的Bi-LSTM网络可以获得接近最先进的结果。

自动语音识别（ASR）需要大量的真实用户语音数据才能达到最先进的性能。然而，语音数据传递敏感的说话人属性，如身份，可以推断并利用这些属性进行恶意攻击。因此，人们对通过某种语音转换方法处理的匿名语音数据的收集感兴趣。本文评估了拉脱维亚语音数据的一种语音转换方法，并研究了隐私转换数据是否可以用于改进ASR声学模型。结果显示了针对拉脱维亚语音的最先进的说话者验证模型的语音转换的有效性，以及在ASR训练中使用隐私转换数据的有效性。

在本文中，我们提出了各种预训练策略，以帮助提高情绪分类任务的准确性。首先，我们使用这些策略预先训练语言表示模型，然后在下游任务中微调它们。在一个时间平衡的推文评估集上的实验结果表明，该技术比以前的技术有了改进。我们对拉脱维亚推文的情绪分析达到了76%的准确率，这比之前的工作有了实质性的改进。

基于变换的语言模型在大型语料库上进行预训练，在包括命名实体识别（NER）在内的多种广泛使用的语言的自然语言处理任务中取得了良好的效果。在本文中，我们研究了BERT模型在拉脱维亚净入学率任务中的作用。我们介绍了基于拉脱维亚语言数据预处理的BERT模型。我们证明，在大型拉脱维亚语料库上预先训练的拉脱维亚BERT模型取得了比多语种BERT更好的结果（对于具有九种命名实体类型的数据集，平均F1-measure比M-BERT上的78.37，对于另一个具有七种类型的数据集中，平均79.72比78.83），并且优于以前开发的拉脱维NER系统。

基于流水线的语音翻译方法可能会遇到语音识别系统输出中发现的错误。因此，训练机器翻译系统对此类噪声具有鲁棒性至关重要。本文提出了两种用于基于流水线的语音翻译系统开发的并行数据增强方法。第一种方法使用语音处理工作流引入错误，第二种方法使用基于规则的方法生成常见的后缀错误。我们表明，这些方法的结合可以显著提高语音翻译质量，比基线系统提高1.87 BLEU点。

神经机器翻译系统通常是针对精选语料库进行训练的，当遇到非标准拼写或标点符号时，会中断。然而，由于机器翻译系统用于翻译非正式来源的文本，例如聊天对话、社交媒体帖子和网页，因此，对拼写错误和拼写错误的恢复能力至关重要。我们提出了一个简单的生成性噪声模型来生成十种不同类型的对抗性示例。我们使用这些数据来增加机器翻译系统的训练数据，并表明，当在噪声数据上测试时，使用对抗性示例训练的系统的性能几乎与翻译干净数据时的性能一样好，而基线系统的性能下降了2-3 BLEU点。为了衡量机器翻译系统输出的稳健性和噪声不变性，我们使用了原始句子翻译与其噪声变体之间的平均翻译编辑率。使用此度量，我们表明，与使用干净数据训练的基线相比，使用对抗性示例训练的系统的一致性平均提高了50%。

本文报告了一个工具包的开发，该工具包可以收集对话语料库，用于面向目标的端到端对话系统培训。该工具包包括神经网络模型，该模型可以交互式地学习从对话历史中预测下一个虚拟助理（VA）动作。为了找到神经模型训练的最佳策略，我们用英文DSTC对话集进行了几次实验，然后从示例开始探索VA对话场景学习的方法。所选算法用于训练平台收集的公共交通查询领域中拉脱维亚对话的下一个动作预测模型。英语和拉脱维亚语对话模型的准确度相似，分别为0.84和0.86。这表明所选择的神经网络模型训练方法与语言无关。

在本文中，我们解决了立陶宛语在实际监督数据下的意图检测问题。我们的主要重点是增强自然语言理解（NLU）模块，该模块负责理解用户的问题。NLU模型使用适当选择的词向量化类型和深度神经网络（DNN）分类器进行训练。在我们的实验中，我们对fastText和BERT嵌入进行了实验研究。此外，我们还自动优化了以下DNN方法的不同体系结构和超参数：长短期记忆（LSTM）、双向LSTM（BiLSTM）和卷积神经网络（CNN）。最高精度=～0.715（在随机基线和多数基线上分别为～0.675和～0.625）是通过在BERT嵌入顶部应用CNN分类器实现的。详细的误差分析表明，对于覆盖最少的意图，由于意图模糊，预测精度会降低；因此，我们计划在未来进行必要的调整，以进一步提高立陶宛语的意图检测准确性。

在过去十年中，人机交互，尤其是以对话系统和聊天机器人的形式，变得非常流行。最近开发实用虚拟助手的主要方法是应用深度学习技术。然而，对于资源较少的语言（或领域），由于缺乏必要的培训数据，深度学习的应用可能非常复杂。本文将数据驱动方法和基于知识的方法相结合，探讨将混合方法应用于对话建模的可能性。我们的假设是，通过将不同的代理（通用域聊天机器人、常见问题模块和面向目标的虚拟助理）组合成单个虚拟助理，我们可以促进对话的充分性和流畅性。我们调查了不同广泛使用的技术在资源较少的环境中的适用性。通过拉脱维亚大学学生服务的初始虚拟助理原型，我们证明了我们的方法对于形态丰富、资源较少的拉脱维亚语的可行性。

本文介绍了LVBERT——第一个为拉脱维亚人预先训练的公开单语语言模型。我们表明，LVBERT改进了拉脱维亚NLP三项任务的最新技术，包括部分语音标记、命名实体识别和通用依赖解析。我们发布LVBERT以促进拉脱维亚NLP的未来研究和下游应用。

本文介绍了苏格兰盖尔语的新资源——盖尔语语言分析器。GLA包括一个标记器、一个引理器和一个解析器，它们主要是在现有资源的基础上开发的。该工具作为苏格兰盖尔语工具包的第一个组件在线提供。

本文从《现代立陶宛语词典》（第六版）的覆盖面出发，与立陶宛人联合语料库进行了比较研究。本文描述了资源、方法和过程，结果表明只有81%的字典引理在语料库中有对应词。

本文描述了从各种在线来源开发现代拉脱维亚语最新平衡语料库（LVK2018）中获得的经验教训。大多数新语料库都是根据从不同文本持有者处获得的数据创建的，这需要与每个文本持有方达成合作协议。达成这些合作协议是一项困难和耗时的任务，如果要创造的资源规模不是数亿美元，则可能没有必要。尽管今天互联网上有许多不同的资源可用于特定的语言，但找到可行的在线资源来创建平衡的语料库仍然是一项艰巨的任务。从各种在线来源开发平衡的语料库并不需要与文本持有者达成协议，但它带来了更多的技术挑战，包括文本提取、清理和验证。

本文描述了正在进行的为医学领域创建拉脱维亚语言资源的工作，重点是数字成像，以开发拉脱维亚医学语音识别系统。语言资源包括发音词典、用于语言建模的文本语料库和用于（i）声学模型改编、（ii）语音识别准确性评估、（iii）开发和测试用于将文本自动转换为口语和书面形式的重写规则。这项工作是一个更大的行业驱动研究项目的一部分，该项目旨在为医学领域开发特定的拉脱维亚语音识别系统。

本文报告了拉丁语拼写检查和形态分析工具的开发。拉脱维亚文字是拉脱维亚语言的历史变体。拉脱维亚语有各种各样的语言分析工具，而拉脱维亚语缺乏这些工具。这项工作是由从事形态学标记词汇创建的语言学家和从事语言工具开发的IT专家共同努力完成的。为了创建形态分析工具，我们重用了用于拉脱维亚形态分析仪的FST技术。我们创建了一个可以与Hunspell引擎一起使用的拼写词典。所有工具都可以通过Web Service访问。目前，拉丁语词典包含13139个引理，以105个屈折词组标记。词汇补充工作仍在继续。

本研究继续进行芬兰语FiST全文词汇语义标记器的实现工作。标签基于2016年出版的46226个芬兰语词汇语义词典[1]。Kettunen[2]、[3]描述了FiST的基本工作版本。FiST基于免费组件：第一个实现使用Omorfi和FinnPs对芬兰语单词进行形态分析和消歧。本文描述了复合分词用于语义标注的工作及其对标记器词汇覆盖率的影响。我们尝试了两种不同的方法来对改进版本的FiST进行词法分析和消歧，FiSTComp:FinnPs[4]和Turku Dependency Parser[5]，[6]，UD1。这两种工具消除了单词的形态解释的歧义，并为复合词提供了边界标记，但成分分解的细节和粒度各不相同。我们对二部分、三部分和四部分复合词的研究结果表明，通过UD1对复合词的成分进行分析，最多可以提高约6.6%的标记词的词汇覆盖率。虽然我们能够着手解决化合物分裂的基本问题，但由于化合物是一种复杂的现象，因此结果仍然是初步的，还需要进一步的研究。