奖励学习和决策的纹状体电路

多巴胺系统异质性的新证据。

近年来，DA活动支持强化学习的经典观点已经在广泛的学习范式中通过光遗传学激活或抑制DA神经元进行了直接测试。这些研究具有细胞类型特异性和时间精确性，可以直接验证DA神经元提供RPE信号支持强化学习的假设。他们已经明确证实DA神经元的激活支持巴甫洛夫学习^25,47,48，上下文学习^49,50和操作性学习^50–53相反，对这些神经元的短暂光遗传抑制模拟了一个负预测错误：抑制DA神经元会促进先前条件反射的消失⁵⁴，诱导条件性场所回避⁵⁰减少动物重复先前选择动作的可能性^52,55.

考虑到纹状体的解剖和功能特化(方框1)根据纹状体靶区的功能，该RPE信号可能支持不同形式的学习。与此相一致的是，刺激纹状体的VTA DA投射或SNc DA投射足以将中性线索转变为条件刺激，但有重要区别²⁵激活从VTA到NAc的投射，诱导线索接近，并导致线索自身增强。相比之下，激活SNc向背侧纹状体的投射会引起强烈但无定向的运动，以响应提示，并且不会导致提示增强²⁵这种区别与纹状体亚区的经典观点一致：NAc被认为对产生刺激-结果关联很重要，而背纹状体被认为对刺激-反应关联和行动-结果关联更重要^56,57(方框1).

虽然最近的光遗传学实验支持了DA活动作为RPE来驱动强化学习的经典观点，但从已识别的DA神经元的体内记录已经揭示了RPE信号³⁶，许多其他完全出乎意料的反应模式在体内被记录下来，在RPE框架内无法轻易解释^58–61(图1b). 这些发现挑战了DA投射到纹状体均匀传输RPE信号的经典观点，转而指向DA系统内的解剖特化，并提出了关于这些非RPE信号可能起到什么作用的新问题。

值得注意的是，DA神经元活动的专门化似乎与它们的位置或投射在纹状体的位置有关。例如，背侧纹状体的DA神经元末端具有相对较弱的奖赏反应，但在运动过程中反应强烈⁵⁹或对侧运动^55,62类似地，SNc中的单个DA神经元在运动开始时会增加其活动，这种活动的增加与这些运动的活力相关⁶³(图1b). 与这些神经相关性一致，光遗传学刺激DMS中的SNc细胞体或其末端会增加运动^59,63,64而它们的失活会减少动作的启动，并降低确实发生的动作的活力⁶³.

DA活动的另一个方面似乎与RPE不一致，这是一些推测的DA神经元，特别是SNc对厌恶事件的积极反应^{23,60,65–67}对已确定的DA神经元进行钙成像也表明，这些对厌恶的反应是投射特异性的，类似于运动相关的活动增加。特别是，DLS投射的SNc-DA神经元对脚部电击反应增强²³而TS-投射的SNc-DA神经元对吹气的反应增强⁶⁰(图1b). TS-投射DA神经元的视基因激活增强了回避行为⁶⁰这表明，即使是不编码RPE的DA神经元也支持特定形式的强化学习。

鉴于越来越多的人认识到DA信号不易被视为与RPE相关，一个重要的问题是RPE和非RPE信号是如何跨单个DA神经元组织的。在小鼠在虚拟迷宫中进行决策任务的VTA中，DA神经元表现出惊人的异质性活动，大多数单个神经元代表一个或两个特定的行为变量，例如奖励历史、试验准确性、运动学和/或空间位置(图1b). VTA内具有类似活动特征的DA神经元更有可能在空间上定位⁵⁸虽然RPE并没有明确解释在这项任务中观察到的这些变量的异质性和专门选择性，但编码特定行为变量的许多相同神经元也编码RPE⁵⁸.

与在VTA中相同神经元内观察到的RPE和非RPE反应的重叠相反，由奖赏激活的SNc中的DA神经元似乎与运动开始时激活的DA神经元有很大不同^59,63这一观察结果表明，与VTA相比，RPE信号在SNc中并不普遍。

尽管活动模式相似，但效果相反。

虽然纹状体MSN的电生理记录揭示了感觉刺激、运动和价值的神经相关性^73–76这些研究无法区分D1R和D2R MSN，因此很难测试go/no-go模型的预测。靶向D1R和D2R MSN的转基因小鼠系的建立^77,78已经能够独立地识别和操纵这两个群体，以评估关于其内源性活动的假设。

虽然经典的go/no-go模型可以预测运动过程中两条路径中相反的活动模式，但令人惊讶的是，来自背侧纹状体两种MSN的记录却显示出非常相似的活动模式。例如，这两条路径在运动中比静止时更为活跃^79–85，在训练期间同样活跃^79,86–91和自发运动^80–84，编码动物的速度^80–83在对侧运动中优先活跃^79,91,92这些数据表明，直接和间接路径同时协调运动；事实上，这两条途径之间有相当大的沟通^7,9,17,70,93因此，直接与间接通路功能的简单go/no-go模型可能不完整。

尽管这些数据与go/no-go模型的最简单解释相矛盾，但它们可以解释为直接途径促进所选动作，而间接途径抑制替代动作^13,69,79这一解释引发了一个有趣且可测试的预测，即直接通路神经元比间接通路神经元对动作更具选择性，因为在任何时间点，未选择的动作都远多于选择的动作。测试这个模型需要检查可以分析两个以上动作的神经相关性的行为，这在大多数关于自发运动的研究中都不是这样，据我们所知，在决策任务中根本没有实现。然而，最近对自发行为的研究表明，机器学习算法将运动分为多个离散成分，这种模型可能也不完整^81,82这些详细的分析表明，这两个种群同时编码自发行为^81,82在两条途径中具有相似程度的特异性^81,83这种特异性的相似性表明，D2R MSN的集合不太可能在特定环境中抑制所有未选择的动作。因此，到目前为止，数据并不明确支持go/no-go模型的扩展，在该模型中，间接途径比直接途径抑制更广泛的作用。因此，需要新的思路来解释这两种途径的功能。

另一种可能性是，尽管D1R和D2R MSN在同一动作中都是活跃的，但这两种途径的相对激活决定了该动作是被选择还是被避免^94–96一个潜在的相关观点是纹状体参与了作为运动输出基础的学习或决策过程，但不直接参与产生运动输出。在这个框架中，D1R和D2R MSN可能对运动输出下的决策变量有相反的表示，尽管在运动期间有类似的激活^82,97当与决策相关的内部变量（例如，行为的价值或驱动决策的感官证据）时，可以最好地测试这种可能性⁹⁸)在决策过程中受参数控制，但在自发行为期间不受参数控制。

为了支持这些观点，最近的证据表明，价值可能会相反地调节这两种途径的活动，尽管这两种途径在运动过程中表现出相似的活动^90,91,99例如，在基于价值的决策任务中，许多D1R MSN在奖励呈现期间增加了活动⁹⁰而D2R MSN在无回报的结果中更为活跃^90,100(图2b). 在巴甫洛夫条件反射任务中也观察到相反的结果依赖性反应；这里，D1R和D2R MSN对奖励线索的反应分别与奖励价值呈正相关或负相关⁹⁹D1R和D2R MSN的活动似乎受值的不同调节，这一事实表明，这些神经元可能对行为决策的内部变量进行相反的编码，而不是对行为本身进行编码。

D1R或D2R MSN的特定光遗传操作进一步支持了这样的观点，即D1R MSN和D2R MSNs相反地调节决策，而不是影响运动输出(图2c). 接受概率反转学习任务训练的动物如果能够获得奖励，则倾向于重复先前选择的动作，如果没有，则会切换^90,101,102在小鼠执行其选择的动作之前短暂刺激D1R MSN或D2R MSN，分别诱导对侧或同侧偏倚。这不仅仅是一种运动效应，因为偏差取决于两个可用选项的估计值的差异，因此当两个选项的估计价值更接近时，偏差更大¹⁰²(图2c). 此外，在结果呈现期间刺激D1R MSN会减少奖赏后的转换，而刺激D2R MSN则会增加未奖赏试验后的转换。这表明这些途径中的结果期活动调节了动物的结果依赖性决策策略⁹⁰.

直接和间接途径的激活似乎也相反地调节学习。背侧纹状体中D1R MSN的激活增强了与刺激相关的行为或空间位置¹⁰³并能强化训练动作的特定特征，如速度¹⁰⁴.D2R MSN激活具有相反的效果：降低刺激配对行为的表现，诱导对空间位置的厌恶，减少对特定运动速度的选择^103,104同样，刺激NAc中的D1R MSN会增加可卡因条件性位置偏爱（CPP），而刺激D2R MSN则会降低可卡因CPP¹⁰⁵.

因此，来自视基因激活的大量支持表明，D1R和D2R神经元对学习和决策施加拮抗控制。然而，最近的研究也表明，间接途径具有令人惊讶的功能，这似乎与“不去”完全不同。例如，在感官go/no-go任务中，D1R MSN或D2R MSN的激活会导致对go反应的偏见，而感官信息的感知没有改变¹⁰⁶D1R MSN激活后go反应的增加与直接通路功能的经典模型一致；然而，根据经典模型，D2R MSN刺激预计会减少而不是增加go反应。类似地，D1R MSN的光遗传抑制减缓了动作启动，这与经典模型一致，而D2R MSN抑制并没有加快动作启动，反而增加了小鼠脱离任务的概率^89,107.

此外，尽管在DMS中直接和间接途径的活性相反地调节强化¹⁰³DLS或NAc似乎并非如此。DLS中的D2R MSN激活不会减少按下刺激配对杆，而是增加按下配对杆和未配对杆¹⁰⁸在NAc中，激活D1R或D2R MSN会促进自我刺激，尽管只有D1R刺激会增加在模拟空间位置的时间¹⁰⁹此外，在一项旨在测试动机的任务中，刺激NAc中的D1R或D2R MSN会增加动机，而抑制D2R MSNs会降低动机，导致动物比对照组更早放弃¹¹⁰（但请参见REF^111,112). 综上所述，这些研究表明，在某些条件下，间接途径可能具有完全出乎意料的作用，这些作用似乎与经典提出的拮抗直接途径功能的作用大不相同。间接途径在什么时候以及为什么发挥这些意料之外的作用尚待了解。

中等棘状神经元的可塑性调节。

假定的CIN（TAN）代表显著性或动机重要性，这一概念导致了一个有趣的假设——这些神经元可能调节学习和可塑性的“增益”，但不足以独自驱动这些过程，因为尽管它们在学习应该发生的时候作出反应，它们不提供关于学习方向的信息，因为对欲望和厌恶刺激的反应是相似的。

最近的光遗传学实验为CIN调节学习增益的观点提供了支持。例如，NAc中CIN活性的增加加速了可卡因CPP的灭绝；相反，降低CIN活性可以减缓这些关联的消失（或获得）^127,128增强的消亡学习伴随着对MSN谷氨酸能输入的突触强度降低¹²⁸(图3b). 然而，当CIN在学习环境之外被激活时，突触强度不会发生这种变化。同样，CIN的激活本身不足以支持学习（例如，在实时CPP或颅内自我刺激任务中）¹²⁸总之，这些研究结果表明，CIN在发生学习增益时调节学习增益，但本身并不驱动强化学习。

在需要灵活更新以前学习过的关联的环境中，CIN在调节学习速度方面可能特别重要^129–133背纹状体或VS中CIN的细胞类型特异性损伤不影响行动的初始学习-结果关联，但在任务突发事件改变时会损害表现^130,132当相关任务特征改变时，CIN消融增加了旧策略的坚持性¹³⁰并削弱了动物区分不同行动的能力——贬值测试中的意外结果¹³²（但见reF。¹³¹).

CIN如何调整MSN以支持学习？CIN通过各种机制抑制MSN^{127,134–136}; 因此，CIN活动中的暂停可以解除MSN的抑制，提高其对行为相关信息的响应能力。此外，CIN触发中脑DA神经元纹状体末端的DA释放，这可能直接增强可塑性^137,138此外，如上所述，CIN可以调节谷氨酸能输入-MSN突触的可塑性¹²⁸这些机制如何影响学习和决策，以及哪些其他机制可能重要，是该领域的关键开放研究领域。

为纹状体亚区提供功能专门化。

纹状体回路的一个经典观点是，每个谷氨酸能输入的神经活动都特定于其目标区域，并决定该区域的功能。为了测试这个模型，许多重要的研究已经开始通过根据神经元的投射，专门针对神经元，来研究纹状体谷氨酸能输入在学习和决策任务中的功能专门化^149–176.

其中一些研究支持谷氨酸能输入为纹状体亚区提供功能专门化的观点。例如，TS的谷氨酸能输入被认为是专门用于处理感官信息和支持感官指导决策的^177–180.从听觉皮层到TS的投射是按眼压组织的¹⁵⁸TS中记录的神经元具有与支配它们的听觉皮层神经元相似的听觉反应¹⁵²(图4b). 在双选择听觉辨别任务中，特别刺激投射到纹状体的听觉皮层神经元会使选择偏向于与模拟神经元的首选频率相关的动作，而抑制则会产生相反的效果¹⁵²此外，在大鼠学习了这种听觉辨别任务后，编码奖励听觉刺激的皮质纹状体神经元的突触被选择性增强¹⁵⁸.

输入专门化的进一步证据来自对mPFC输入到NAc在学习中的作用的检查(表1). 这些神经元参与同种和空间位置之间的学习联系¹⁶⁵但并不需要获得巴甫洛夫条件反射（尽管它们涉及条件反射行为的表达）¹⁶⁴此外，mPFC–NAc预测不涉及学习特定动作或线索与奖励的关联（尽管它们涉及在这些任务之间切换）¹⁷¹因此，从mPFC到NAc的投影似乎专门用于支持某些类型的学习。

除了特定输入是否专门用于特定行为功能外，一个相关的问题是同一目标区域的多个输入是否具有不同或冗余的功能。事实上，NAc的一些投入似乎专门用于奖励学习，这被认为是该次区域的一项主要职能(表1). 例如，对NAc的几个输入似乎正在增强：小鼠将学会执行一个动作，触发基底外侧杏仁核（BLA）向NAc投射的光基因刺激^149,150,157或腹侧海马¹⁵⁰与这些观察结果一致，BLA到NAc的投射失活减少了条件舔舔对奖赏提示的反应¹⁴⁹相反，抑制这种投射并不影响恐惧学习的获得¹⁵⁷虽然NAc的多种输入支持奖励学习，但丘脑的几种输入可能具有相反的厌恶效应。刺激脑室旁丘脑（PVT）向NAc的投射是令人厌恶的，通过光学诱发的长期抑郁减弱这种投射会减弱阿片剂戒断厌恶症状的表达¹⁶⁰此外，慢性社交失败加强了丘脑层内向NAc的投射，而这种投射的视觉遗传抑制减少了由此产生的社交回避，而视觉遗传激活则减少了社交互动¹⁵⁹.

比较前额叶皮层不同区域对DMS的输入也可以发现不同投射之间的功能差异。在T型迷宫中，只有当最大化回报的选择与最小化厌恶刺激的选择不同时（在这种情况下，是明亮的光），才会影响决策¹⁵⁵相反，操作前扣带回皮质（ACC）的投影会影响多种类型的成本效益比较¹⁵⁵.

总之，这些研究表明纹状体的投射显示出一些功能分化。然而，需要更多的工作来确定谷氨酸输入之间存在多少冗余。