释放人工智能的潜力

快速扩散指数积分采样器的分数归一化

最近，zhang等人提出了扩散指数积分采样器（DEIS），用于从扩散模型快速生成样本。

推进对传统汉语模型的评估：走向综合基准套件

大型语言模型的评估是语言理解和生成领域的一项重要任务。

具有序最优回归界的核强化学习

现代强化学习（RL）在具有复杂模型和大型状态-作用空间的各种现实环境中取得了成功。

分布式用户基于内核的Bandits中的协作学习

我们研究由中央服务器促进的分布式客户端之间的协作学习。

无线信道建模和采样的生成扩散模型

信道建模对设计现代无线通信系统至关重要。。。

内核带宽中的延迟反馈

MediaTek Research最近发表了一篇论文，讨论了内核盗贼的延迟反馈，其中考虑了通过昂贵且嘈杂的评估对未知函数进行黑盒优化；机器学习、学术研究和工业生产中普遍存在的问题。

切实有效的神经上下文强盗

MediaTek Research最近发表了一篇论文，研究神经背景下的强盗问题。

基于最短路径扩散的图像生成

MediaTek Research最近发表了一篇论文，研究图像生成和扩散模型领域，该领域学习逐步扭转给定的图像损坏。最近，一些研究引入了扩散模型中破坏图像的替代方法，重点是模糊。然而，这些研究纯粹是经验研究，尚不清楚破坏图像的最佳程序是什么。

超参数神经网络的一致推广界

MediaTek Research最近发表了一篇论文，该论文观察到人工神经网络尽管通常被过度参数化，但仍能产生良好的泛化误差。众所周知，在超参数神经网络的情况下，经典的统计学习方法往往会导致泛化错误。MediaTek Research采用最新发展的神经切线（NT）核理论，证明了当真实数据生成模型属于与NT核对应的再生核希尔伯特空间（RKHS）时，过参数化神经网络在核状态下的统一泛化界。

T5lephone:T5语音水平口语理解的语音和文本自我监督模型

MediaTek Research最近发表了一篇关于口语理解（SLU）的论文，自然的解决方案是将预训练语音模型（例如HuBERT）和预训练语言模型（PLM，例如T5）连接起来。在大多数以前的工作中，使用预处理语言模型和基于子词的标记化，输入单元的粒度影响语音模型输出和语言模型输入的对齐，而使用基于字符的标记化的PLM尚未得到充分研究。

面向问题回答的密集通道检索中的层次表示

联发科研究最近发表了一篇论文，旨在通过检索包含与问题匹配的事实证据的附带信息来提高问答性能。然后将这些检索到的文档输入到一个阅读器中，该阅读器生成一个答案。一种常用的检索方法是密集通道检索。在该检索器中，变压器神经网络的输出用于查询知识数据库以匹配文档。MediaTek Research受到变压器网络不同层提供具有不同抽象级别的丰富表示的观察结果的启发，假设不仅可以在输出层生成有用的查询，还可以在变压器网络的每一层生成有用查询，并且不同层的隐藏表示可以组合以提高所获取的文档的读取器性能。这种新方法将检索集成到变压器网络的每一层，利用输入问题的层次表示。本文表明，该技术在下游任务（如问答）上的性能优于先前的工作，证明了其有效性。

基于核的Q学习的样本复杂性

MediaTek Research最近发表了一篇论文，研究现代强化学习（RL）如何经常面对巨大的状态-行为空间。现有的分析结果通常用于具有少量状态作用的设置，或简单模型，例如线性建模的Q函数。为了获得处理大型状态作用空间的统计有效RL策略，利用更一般的Q函数，最近的一些工作考虑了使用核岭回归的非线性函数逼近。在这项工作中，MediaTek Research推导了当生成模型存在时基于内核的Q学习的样本复杂性。

扩展BLOOM的预培训以改进对繁体中文的支持：模型、方法和结果

MediaTek Research最近发表了一篇论文，介绍了多语言模型BLOOM-zh，该模型增强了对繁体中文的支持。BLOOM-zh起源于BigScience于2022年提出的开源BLOOM模型。从发布的模型开始，该团队将BLOOM的预培训扩展了74亿元繁体中文和英文代币，涵盖新闻文章、书籍、百科全书、教育材料以及口语等多个领域。为了显示BLOOM-zh的属性，将使用现有的和新创建的基准场景来评估性能。在大多数繁体中文基准测试中，BLOOM-zh表现优于其前任，同时保持其英语能力。

通过课堂重叠技术对抗训练保护敏感属性

近年来，机器学习服务（MLaaS）给我们的日常生活带来了相当大的便利。然而，当通过云提供时，这些服务会引发泄露用户敏感属性（如种族）的问题。

深度神经网络的Fisher-Legendre（FishLeg）优化

MediaTek Research最近发表了一篇论文，该论文观察到将二阶梯度信息（曲率）纳入优化可以显著减少训练机器学习模型所需的迭代次数。在自然梯度下降中，此类信息来自Fisher信息矩阵，该信息矩阵产生了许多理想的特性。由于精确的自然梯度更新对于大型模型来说很难实现，因此KFAC和续集等成功的方法以一种易于反转的结构化形式近似于Fisher。然而，这需要特定于模型/层的张量代数和某些通常难以证明的近似。

一种基于学习的柔性块早期平面布置算法

本文提出了一种基于学习的算法，利用图形神经网络（GNN）和反褶积网络预测具有柔性矩形的设计块的位置和纵横比。通过对4个GPU进行数小时的培训，以最小化有线长度成本为目标的拟议方法可以在平面布置图的早期阶段生成布置，这优于需要物理设计专家花费数天时间的手动布置。

梯度下降：对抗性腐败的稳健性

使用梯度下降（GD）进行优化是各种机器学习问题（包括训练大型神经网络）中的普遍实践。无噪声GD和随机GD（被随机噪声破坏）在文献中已被广泛研究，但较少关注对抗性环境，即梯度值中存在对抗性破坏。在这项工作中，我们分析了GD在提出的一般对抗框架下的性能。对于满足Polyak-Łojasiewicz条件的函数类，我们导出了极大极小优化误差的有限时间界。基于这个界，我们提供了一个学习速率序列的选择指南，并从理论上保证了GD对对抗性腐败的鲁棒性。

Bandits中的近最优协作学习

本文介绍了一个通用的多代理强盗模型，其中每个代理都面对一组有限的手臂，可以通过一个中央控制器与其他代理通信，以便在纯粹的探索或玩后悔最小化游戏中确定其最佳手臂。关键在于，每个代理的最佳手臂是期望混合报酬最大的手臂，其中一只手臂的混合报酬是该手臂对所有代理的报酬的加权总和。这使得代理之间的通信往往是必要的。这种通用设置允许恢复和扩展几个最新的协作盗贼学习模型，包括最近提出的带有个性化的联合学习[Shi等人，2021]。在本文中，我们对纯探索的样本复杂性和遗憾提供了新的下界。然后，我们提出了一种用于纯勘探的近最优算法。该算法基于两种新成分的阶段消除：每个阶段内的数据相关采样方案，旨在匹配下限的松弛。

基于核的学习中稀疏逼近方法的改进收敛速度

核岭回归和高斯过程等基于核的模型在回归和优化的机器学习应用中普遍存在。众所周知，基于核的模型的一个主要缺点是计算成本高；给定n个样本的数据集，成本随O（n3）增长。现有的稀疏近似方法可以显著降低计算成本，在某些情况下有效地将实际成本降低到O（n）。尽管在经验上取得了显著的成功，但由于近似导致的误差分析界限的现有结果仍存在很大差距。在这项工作中，我们为Nyström方法和稀疏变分高斯过程近似方法提供了新的置信区间，我们使用模型的近似（替代）后验方差的新解释建立了这两种方法。我们的置信区间提高了回归和优化问题的性能界限。

基于核的无噪盗贼的后悔界

基于核的盗贼问题是一个被广泛研究的黑盒优化问题，其中目标函数被假定位于已知的再生核Hilbert空间中。虽然在有噪设置中建立了几乎最佳的后悔界限（最多为对数因子），但令人惊讶的是，对于无噪设置（当基本函数的精确值可以在没有观测噪声的情况下访问时）知之甚少。我们讨论了后悔的几个上限；其中没有一个看起来是顺序最优的，并且提供了关于顺序最优后悔界的一个猜想。

LPI：用于任务结构转移和零炮计划的学习位置不变性

现实世界的任务通常包括与环境的互动，在这种互动中，我们的行动可以彻底改变可用或理想的长期结果。在强化学习环境中，这一点的一个表述是非马尔可夫奖励。在这里，奖励功能，以及可用的奖励，本身是历史依赖的，并且会随着代理与环境的交互而动态变化。导航此类环境的一个重要挑战是，能够以可解释的方式捕获此动态奖励功能的结构，并允许进行最佳规划。该结构与手头的特定任务设置相结合，然后确定执行操作或完成子任务的最佳顺序。如果所有这些排序都需要评估，规划方法将面临组合爆炸的挑战，然而，学习任务结构中固有的不变性可以缓解这种压力。在这里，我们提出了一个解决这个问题的方法，即允许规划方法识别时间顺序与预测下游奖励结果无关的任务段。为了促进这一点，我们的代理同时学习分割任务并预测由其行为引起的不断变化的奖励函数，同时还学习其历史中与此预测相关的置换不变性。这种双重方法可以对复杂的动态强化学习任务进行零快照或少快照概括

感觉皮层回路中伪序列的自适应擦除

反映先前经历的时间序列的顺序活动被认为是跨皮层区域学习的标志。然而，我们还不知道皮层电路如何避免相反的问题：产生在输入端没有反映序列的伪序列。我们开发了量化和研究神经反应顺序性的方法。我们表明，循环电路响应通常包括伪序列，这些伪序列在遵循皮层微电路组织的两个广为人知的特征（戴尔定律和希伯来连接性）的电路中被特别防止。特别是，兴奋-抑制网络中的峰值时间依赖性可塑性导致了伪序列的自适应擦除。我们在清醒雪貂视觉皮层的多电极记录中测试了我们的理论。虽然对自然刺激的反应基本上是非连续的，但对人工刺激的反应最初包括虚假序列，这会减少过度暴露。这些结果揭示了希伯来经验依赖可塑性和戴尔定律在感觉皮层回路中的意外作用。

面向芯片布局的柔性多目标强化学习

最近，强化学习在芯片放置中的成功应用已经出现。为了提高效率和有效性，需要预先训练模型。目前，目标度量（例如，线路长度、拥塞和定时）的权重在预训练期间是固定的。然而，固定权重模型无法产生工程师所需的不同放置方式，以适应不断变化的需求。本文提出了一种灵活的多目标强化学习（MORL）方法，仅使用一个预处理模型来支持具有推理时变权重的目标函数。我们的宏观布局结果表明，MORL可以有效地生成多个目标的Pareto边界。

SalesBot：从Chit-Chat过渡到面向任务的对话

对话系统通常分为两种类型，开放域和任务导向。第一种方法侧重于与用户聊天并让他们参与对话，选择合适的主题以适应对话环境是成功对话的关键。另一个则专注于特定的任务，而不是随意的谈话，例如，周五晚上找一部电影，放一首歌。由于目的不同，这两个方向被分别研究。然而，如何从社交聊天顺利过渡到任务型对话对于触发商业机会至关重要，并且没有任何公开数据关注此类场景。因此，本文侧重于调查从开放域社交聊天开始，然后逐渐过渡到任务导向目的的对话，并发布带有详细注释的大规模数据集，以鼓励这一研究方向。为了实现这一目标，本文提出了一个框架，可以自动生成多个对话，而无需人工参与，其中任何强大的开放域对话生成模型都可以轻松利用。人类评估表明，我们生成的对话数据具有合理质量的自然流动性，表明我们发布的数据具有指导未来研究方向和商业活动的巨大潜力。此外，发布的模型允许研究人员在目标场景中自动生成无限对话，这对半监督和非监督方法非常有益。

如何跨任务分发数据以进行元学习？

元学习模型将从以前的任务中获得的知识转移到快速学习新任务中。他们接受基准测试培训，每个任务有固定数量的数据点。这个数字通常是任意的，不知道它如何影响测试性能。由于数据标签的成本很高，因此在培训任务中找到标签的最佳分配可能会降低成本。给定标签的固定预算，我们应该使用少量高标签任务，还是使用多个任务，每个任务只有很少的标签？我们应该为某些任务分配更多标签，而为其他任务分配更少标签吗？我们证明：1）如果任务是同质的，则存在一个统一的最优分配，即所有任务都获得相同数量的数据；2） 在固定预算下，任务数量和每个任务的数据点数量之间存在权衡，具有唯一且恒定的最优值；3） 当单独训练时，较难的任务应该以较少的任务为代价获得更多的数据；4） 当针对简单任务和困难任务进行混合训练时，应为简单任务分配更多数据。有趣的是，神经科学实验表明，人类的视觉技能也能更好地从简单的任务中转移。我们在混合线性回归上对这些结果进行了数学证明，并从经验上表明，对于CIFAR-FS和mini-ImageNet上的少量快照图像分类，结果是相同的。我们的结果为收集数据进行元学习时跨任务分配标签提供了指导

高斯过程带宽的最优阶简单回归

考虑一个连续的、可能是非凸的且代价高昂的目标函数f的序列优化问题。该问题可以看作是高斯过程（GP）土匪，其中f位于再生核希尔伯特空间（RKHS）中。对几种学习算法的最新分析表明，简单后悔性能的上下限之间存在显著差距。什么时候？

使用稀疏高斯过程模型的可缩放汤普森采样

高斯过程（GP）模型的汤普森采样（TS）是优化黑盒函数的有力工具。虽然TS具有强大的理论保证和令人信服的经验性能，但它会带来大量的计算开销，并随优化预算按多项式进行缩放。最近，人们提出了基于稀疏GP模型的可扩展TS方法，以扩大TS的范围，使其能够应用于需要解决数百个以上评估的足够多模态、噪声或组合的问题。然而，稀疏GP引入的近似误差使所有现有的遗憾边界无效。在这项工作中，我们对可扩展TS进行了理论和实证分析。我们提供了理论保证，并表明可扩展TS的计算复杂度可以大幅降低，而不会损失标准TS的遗憾性能。这些概念性的主张在合成基准上的可伸缩TS的实际实现中得到了验证，并作为现实世界高通量分子设计任务的一部分。

用于特征长距离积分的循环正交卷积

在卷积神经网络（CNN）中，信息流经图像每个像素的一个小邻域，防止特征在到达网络的深层之前进行远程集成。我们提出了一种新的结构，允许特征z和位置（x，y）之间的灵活信息流用少量图层覆盖整个图像。该体系结构使用三个正交卷积的循环，不仅在（x，y）坐标中，而且在（x，z）和（y，z）坐标中。我们堆叠一系列这样的循环以获得我们的深层网络，名为CycleNet。由于这只需要对标准卷积的轴进行置换，因此其性能可以直接与CNN进行比较。与相似大小的CNN相比，我们的模型在CIFAR-10和ImageNet数据集的图像分类方面取得了具有竞争力的结果。我们假设长距离集成有利于通过形状而不是纹理识别物体，并且我们表明CycleNet比CNN更好地传输到风格化图像。在Pathfinder挑战中，远程功能的集成至关重要，CycleNet的表现远远优于CNN。我们还表明，即使使用一个小的卷积核，CycleNet的感受野在一个周期后也会达到最大，而传统的CNN需要大量的层

一种具有序最优回归性能的基于域收缩的贝叶斯优化算法

我们考虑再生核Hilbert空间中未知函数的序列优化。我们提出了一种基于高斯过程的算法，并建立了其有序最优后悔性能（高达一个多项式因子）。这是第一个基于GP的算法，具有顺序最优后悔保证。该算法基于一系列基于树的区域修剪和细化来实现域收缩的方法，以将查询集中在功能域中越来越小的高性能区域中。对高性能区域的搜索通过迭代估计最优函数值进行本地化和指导，以确保学习效率和计算效率。与流行的GP-UCB算法系列相比，该算法将计算复杂度降低了一倍

自然的持续学习：成功是一个旅程，而不仅仅是一个目的地

众所周知，生物制剂在其一生中会学习许多不同的任务，并且能够在性能几乎没有损失的情况下重新访问以前的任务和行为。相比之下，人工智能体容易“灾难性遗忘”，在获得新任务时，先前任务的性能会迅速下降。最近，使用鼓励参数与以前任务中使用的参数保持接近的方法解决了这一缺点。这可以通过以下方式实现：（i）使用特定的参数正则化器，在参数空间中规划出合适的目的地，或（ii）通过将梯度投影到不干扰先前任务的子空间中来引导优化过程。然而，在递归神经网络（RNN）中，参数正则化被证明是相对无效的，该网络与支持生物连续学习的神经动力学研究相关。类似地，基于投影的方法可以达到容量，并且随着任务数量的增加，无法进一步学习。为了解决这些局限性，我们提出了自然连续学习（NCL），这是一种将权重正则化和投影梯度下降相结合的新方法。NCL使用贝叶斯权重正则化来鼓励在收敛时在所有任务上取得良好的性能，并将其与旨在防止优化过程中灾难性遗忘的梯度投影相结合。NCL将梯度投影形式化为基于Fisher信息度量的信赖域算法，并通过一种新的Kronecker-factor近似策略实现可扩展性。当应用于RNN中的连续学习问题时，我们的方法优于标准权重正则化技术和基于投影的方法。经过训练的网络会进化出特定于任务的动力学，这些动力学在学习新任务时会得到很好的保持，类似于生物电路中的实验结果。

开放问题：RKHS元素的在线置信区间很紧

置信区间是分析各种在线学习问题的关键构建块。基于核的盗贼和强化学习问题的分析利用适用于再生核希尔伯特空间（RKHS）元素的置信区间。然而，现有的置信区间似乎并不紧，导致了次优的后悔区间。事实上，一些内核化盗贼算法（例如，GP-UCB、GP-TS及其变体）的现有遗憾边界甚至可能不会是次线性的。目前尚不清楚次优后悔界限是这些算法的根本缺陷还是证明的伪影，主要挑战似乎来自观测点的在线（顺序）性质。我们形式化了RKHS设置中的在线置信区间问题，并概述了现有结果。

负学习率的元学习

深度学习模型需要大量数据才能很好地执行。当目标任务的数据稀缺时，我们可以转移在类似任务上训练获得的知识，以快速学习目标。一种成功的方法是元学习，或“学习学习”任务的分布，其中“学习”由外循环表示，“学习”则由梯度下降的内循环表示。然而，最近的一些实证研究认为，内部循环是不必要的，更简单的模型也同样有效，甚至更好。我们研究了作为内环学习率函数的MAML的性能，其中零学习率意味着没有内环。利用随机矩阵理论和线性模型的精确解，我们计算了用于混合线性回归和具有超参数模型的非线性回归的MAML测试损失的代数表达式。令人惊讶的是，虽然适应的最佳学习率为正，但我们发现训练的最佳学习速率始终为负，这是以前从未考虑过的一种设置。因此，正如最近的工作所建议的那样，不仅通过将学习率降至零来提高性能，而且通过将学习速率降至负值可以进一步提高性能。这些结果有助于阐明在什么情况下元学习表现最好。

赌徒与被毁灭的悔恨

本文考虑了一类特殊的问题，称为多武器赌徒匪徒（MAGB），它构成了伯努利MAB问题的修正版本，其中必须考虑两个新的因素：预算和破产风险。代理有一个初始预算，该预算随着收到的奖励而及时变化，可以是成功后的+1，也可以是失败后的-1。这个问题也可以被视为经典游戏毁灭游戏的MAB版本。本文的贡献是在现有预算和观察数据的基础上，对破产概率进行了初步分析，并提出了一种替代性的后悔公式，将经典的后悔概念与破产概率引起的预期损失相结合。最后，使用提出的度量对标准最新方法进行了实验比较。

魔术望远镜的立体模拟触发器

当前一代地基成像大气切伦科夫望远镜（IACT）在超高能（VHE）领域运行，从~100 GeV到~100 TeV。他们使用电子数字触发系统，从夜空（LoNS）背景的压倒性光线中辨别出大量空气簇射（EAS）发出的切伦科夫闪光。在望远镜能量阈值附近，伽马射线诱导EAS发射的切伦科夫光子数量与LoNS的波动相当，切伦科夫-成像相机平面上的光子分布变得不均匀。这导致基于阈值信号组合逻辑的数字触发器的有效性严重损失。为了提高主要大气伽马射线成像切伦科夫（MAGIC）望远镜在最低能量下的探测能力，开发了立体模拟触发系统。它基于光电传感器电信号的模拟和。本文描述了这种立体模拟触发器（称为“Sum-trigger-II”）的结构设计、技术性能和配置。

高斯过程带宽中的信息增益和后悔界

考虑对一个代价昂贵且可能非凸的目标函数进行顺序优化

树上MAML的跨语言传输

在元学习中，从以前的任务中学到的知识被转移到新的任务中，但这种转移只有在任务相关时才有效。在无关任务之间共享信息可能会影响性能，并且不清楚如何在具有层次结构的任务之间传递知识。我们的研究通过利用分层任务关系扩展了元学习模型MAML。我们的算法TreeMAML通过几个梯度步骤将模型适应于每个任务，但这种适应遵循层次树结构：在每个步骤中，梯度在任务簇之间汇集，后续步骤沿着树向下。我们还实现了一种聚类算法，该算法在不了解任务结构的情况下生成任务树，从而允许我们利用任务之间的隐式关系。我们表明，TreeMAML利用语言系统发育树成功地训练了跨语言自然语言推理的自然语言处理模型。这个结果是有用的，因为世界上大多数语言的资源不足，跨语言迁移的改进允许NLP模型的国际化。

识别神经数据中潜在动力学结构的不可逆高斯过程

神经数据分析的一个共同目标是将大量人口记录压缩成一组可解释的低维潜在轨迹。这个问题可以使用基于高斯过程（GP）的方法来解决，这些方法提供了不确定性量化和原则性模型选择。然而，标准GP先验并没有区分潜在的动力学过程和其他形式的时间自相关。在这里，我们提出了一个新的轨迹上的“动力学”先验族，其形式为GP协方差函数，表达了大多数动力学系统共享的一个性质：时间不可逆性。不可逆性是自治动力系统的一个普遍特征，其状态轨迹遵循一致的流场，因此任何观察到的轨迹都不会发生逆转。我们新的多输出GP核可以用作多元回归中标准核的替代品，也可以用于潜在变量模型，如高斯过程因子分析（GPFA）。因此，我们引入了GPFADS（Gaussian Process Factor Analysis with Dynamic Structure，具有动态结构的高斯过程因子分析），它使用低维、不可逆的潜在过程对单次试验的神经群体活动进行建模。与先前提出的不可逆多输出核不同，我们的核函数采用了Kronecker因子分解，可以实现快速且节省内存的学习和推理。我们将GPFADS应用于合成数据，并表明它正确地恢复了地面实况相位画像。GPFADS还提供了jPCA的概率泛化，这是一种最初用于识别神经数据中潜在旋转动力学的方法。当应用于猴M1神经记录时，GPFADS以旋转的形式发现具有强大动力学结构的潜在轨迹。

人工智能的新时代：生成性人工智能

使用MediaTek设计合适的AI硬件

Alberto Bernacchia，首席人工智能研究负责人

联发科技的前沿研究

Alberto Bernacchia，首席人工智能研究负责人

联发科技如何实现生成性人工智能

Alberto Bernacchia，首席人工智能研究负责人

打破与联发科技的深度学习

Federica Freddi，高级深度学习研究员

与联发科共同阐释Gen-AI的下一波浪潮

Federica Freddi，高级深度学习研究员

推动人工智能的发展

Federica Freddi，高级深度学习研究员

使用联发科探索人性化人工智能

Jezabel Garcia，高级深度学习研究员

通过联发科研究产生影响

Jezabel Garcia，高级深度学习研究员

使用AI加速6G连接

Jezabel Garcia，高级深度学习研究员

技术是联发科创新的新前沿

高级研究科学家Ushnish Sengupta

问题回答密集通道检索中的层次表示。

基于核的Q-Learning的样本复杂性。

深度神经网络的Fisher-Legendre（FishLeg）优化。

梯度下降：对抗腐败的稳健性。

Bandits中的近最优协作学习。

基于核学习中稀疏近似方法的收敛速度改进。

如何在元学习任务之间分配数据？

高斯过程Bandits的最优阶简单后悔。

使用稀疏高斯过程模型的可伸缩Thompson采样。

一种基于域收缩的贝叶斯优化算法，具有序最优回归性能。

自然的持续学习：成功是一个旅程，而不仅仅是一个目的地。

负学习率的元学习。

高斯过程带宽中的信息增益和后悔界。

识别神经数据中潜在动力学结构的不可逆高斯过程。