杂志的下一篇文章
社交学习策略与合作行为：社交困境博弈中的回报偏见证据，而非声誉或一致性
期刊上的上一篇文章
与热门投标人的讨价还价游戏
 
 
搜索用于文章:
标题/关键字
作者/附属机构/电子邮件
日记账
文章类型
 
 
高级搜索
 
章节
特别发行
体积
问题
编号
第页
 
期刊销售
游戏
第12卷
第4版
10.3390/g12040088
游戏-徽标
提交到此日志 本期刊的评论 提出特殊问题
► 文章菜单

文章菜单

分享 分享 公告 帮助 format_quote格式 引用 问题_答案 在SciProfiles中讨论 竖起拇指（_U）
...
背书 短信
...
注释
第一页（_P）
设置
订购文章重印
字体类型：
宋体 佐治亚州 宋体，Verdana
字体大小：
澳大利亚 澳大利亚 澳大利亚
行距：
列宽：
背景：
第条

斯塔克伯格种群动力学：一种预测敏感性方法

通过
爱德华多·莫吉卡·纳瓦
1,2,*和
弗雷迪·鲁伊斯
2
1
哥伦比亚波哥大国立哥伦比亚大学电气与电子工程系，邮编：111321
2
意大利米兰Politecnico di Milano，Piazza Leonardo da Vinci 3220133，Informazione e Bioingeneria-DEIB，Elettronica研究生院
*
应向其寄送信件的作者。
游戏 2021,12(4), 88;https://doi.org/10.3390/g12040088
收到的提交文件：2021年10月14日/修订日期：2021年11月11日/接受日期：2021年11月17日/发布日期：2021年11月19日
浏览地物
版本注释

摘要

:
传统上被建模为双层优化问题的层次决策过程在现代工程和社会系统中广泛存在。在这部作品中，我们处理的是一个领导者，其追随者数量按游戏的等级顺序排列。一般来说，这个问题可以用带平衡约束的数学程序建模为一个主从Stackelberg平衡问题。我们提出了两个相互关联的动力学系统，通过预测敏感性条件互连，在单个时间尺度内动态求解领导和跟随种群之间的双层优化问题。对于领导者的优化问题，我们开发了一种基于总导数的梯度下降算法，而对于追随者的优化问题则使用种群动力学框架来建模交互策略代理的种群。我们将Stackelberg种群平衡的概念推广到种群动力学的微分Stackelbrg种群平衡。给出了Stackelberg种群学习动力学稳定性的理论保证。最后，基于该方法，通过定价动力学解决了分布式能源协调问题。通过仿真实验验证了该框架的有效性。

1.简介

在现代工程和社会系统中，层级决策过程普遍存在，即领导者做出的决策受到跟随者反应的影响。层次决策结构或领导-跟随问题出现在不同的应用领域，如恐怖主义分析[1]通信和网络安全[2]、流量管理[3]，智能电网[4,5,6]，机器学习[7]和市场体系[8]. 一个特别有前途的应用领域是机器学习和博弈论的交叉点，用于建模学习代理之间的层次交互。经典的同时玩游戏已经扩展到机器学习中的问题，例如鲁棒监督学习[9]或生成性对抗网络[10]以及最近的多智能体系统（MAS）强化学习[11]. 对于基于博弈论的分层机器学习方法，只提出了一些工作。以下是一些相关的贡献[12]，其中提出了具有时间尺度分离的梯度下降，并且[7]Stackelberg学习动力学的发展；这两部作品都聚焦于一个领导者和一个追随者。
传统上，分层决策过程被建模为双层优化问题，可分为两个主要的理论领域[13]. 一方面是基于博弈论的模型[14]，使用双层规划方法发展了Stackelberg平衡的概念。另一方面是数学规划，它首次尝试将双层优化问题作为上层优化问题来解决，并将下层优化问题作为约束[15]. 考虑到它的嵌套性质，双层优化问题从那时起就对优化和数学界提出了挑战；他们被证明是强烈的NP-hard[16]，甚至对解决方案的最优性的评估也是NP-hard[17,18]. 最近的批判性文献综述叙述了该领域的历史发展和当前观点[13,19,20].
在这部作品中，我们处理的是一个领导者，其追随者数量按游戏的等级顺序排列。一般来说，这个问题可以用带平衡约束的数学程序（MPEC）建模为一个主从Stackelberg平衡问题[21]. 最近提出了该模型的一些应用[22,23,24,25]. 在中提出了一个多领导者多追随者博弈的初步MPEC模型[22]. 提出了一种离散时间迭代算法来计算具有多个跟随者的领导者问题中的Stackelberg–Nash鞍点。在[24]解决了基于互联网带宽使用定价的Stackelberg微分博弈。最后，提出了一种半分散算法，用于计算具有多个追随者的Stackelberg聚合博弈的领导者的局部解[25]. 另一方面，对于电力系统应用，有一种新兴的基于市场的控制方法，称为交易能源系统（TES）[26,27,28]. 该方法基于基于市场的隐私保护框架，用于管理能量交换设备[6,29]. 层次决策模型是该框架的基石，协调代理负责解决分销网络的市场清算价格。在几种情况下，领导代理或协调人的控制信号不是价格，但定价函数取决于形成反向Stackelberg博弈的跟随者代理的偏好[30,31]. 考虑到基于层次决策结构的多应用，我们提出了一个Stackelberg博弈学习框架，将双层优化问题作为一个动态系统在单个时间尺度上进行求解。在本文中，由于TES中协调代理问题的动机，我们关注具有跟随代理群体的单个领导者。对于上层优化问题，我们提出了连续时间梯度下降动力学[32,33]对于低层优化问题，我们提出了基于复制因子动力学的人口博弈动力学[34,35]，以获得两个嵌套动力系统。这使我们能够从动力系统理论中引入理论工具，用于设计解决优化问题的算法。与诸如奇异摄动分析等互联动力系统的传统时标分离方法相比[36]，我们使用了预测敏感性条件反射[37,38]在单个时间尺度上集成两个相互关联的动力学系统，以确保微分Stackelberg种群平衡解的稳定性和收敛性。
本文的主要贡献是三方面的。首先，我们提出了两个相互关联的动力学系统，通过预测敏感性条件互连，在单个时间尺度内动态解决领导和跟随种群之间的双层优化问题[37]. 对于先导优化问题，我们利用隐函数定理开发了一种基于总导数的梯度下降算法[39]. 对于跟随者MAS优化问题，我们使用种群动力学框架对MAS交互策略代理进行建模，如所示[34,35,40,41,42]以及其中的参考。我们扩展了Stackelberg种群平衡的概念[43]种群动力学的微分Stackelberg种群平衡。其次，给出了Stackelberg种群学习动力学稳定性的理论保证。最后，基于所提出的方法，通过定价动力学解决了分布式能源（DER）协调问题。通过仿真实验验证了该框架的有效性。
本文的其余部分组织如下。在第2节介绍了两层优化问题的公式和Stackelberg平衡的主要概念。第3节提出了种群博弈的基本概念，并基于预测敏感性条件互联开发了Stackelberg种群学习动力学。建立了稳定性结果，以保证所提动力学的收敛性。在第4节，为DER协调开发了拟议框架的应用程序。最后，得出了主要结论第5节.

2.Stackelberg对策与双层优化问题

在本节中，我们将介绍一个非合作博弈的一般公式，该博弈由一个称为领导者的代理和一组称为追随者的有限代理组成。在这种情况下，我们有一个有多个追随者的Stackelberg游戏，其中领导者首先扮演，然后追随者做出他们的决定。这个Stackelberg游戏可以用一个双层优化问题来建模。传统上，领导者的优化问题被称为上层问题，而追随者的优化问题则被称为下层问题。每个级别都有自己的一组变量、约束和目标函数，上层问题约束下层问题：
最小值 λ ∈ Λ F类 1 ( λ , x个 * ) 秒 . 吨 . x个 * ∈ 参数 最小值 x个 ∈ X（X） { F类 2 ( λ , x个 ) } ,
哪里 λ ∈ Λ ⊆ R（右） 是高级变量， x个 ∈ X（X） ⊆ R（右） n个 是较低级别的变量， F类 1 ( λ , x个 ) 是领导代理的目标功能，以及 F类 2 ( λ , x个 ) 是追随者的目标函数。假设每个跟随者都有一个目标函数 J型 我 ( λ , x个 ) 具有 我 = { 1 , 2 , … , n个 } ，然后，在不失一般性的情况下，我们假设全局目标函数为：
F类 2 ( λ , x个 ) = ∑ 我 = 1 n个 J型 我 ( λ , x个 ) .
让我们回顾一下分层游戏中研究的主要均衡概念：考虑一个领导者代理和一个追随者代理 x个 （f） .
定义 1
（局部Stackelberg平衡（SE））. 让Λ是领导代理和X的一套策略（f）成为跟随者代理的策略集。让BR（f）（λ） 是跟随器的最佳响应函数，定义如下：
B类 R（右） （f） ( λ ) = { 年 ∈ X（X） （f） | F类 2 ( λ , 年 ) ≤ F类 2 ( λ , x个 （f） ) , ∀ x个 （f） ∈ X（X） （f） } .
领导者战略 λ * ∈ Λ 和追随者策略 x个 （f） * 如果以下条件成立，则处于Stackelberg平衡：
（a） 
最大值 x个 （f） ∈ B类 R（右） （f） ( λ * ) F类 1 ( λ * , x个 （f） ) ≤ 最大值 x个 （f） ∈ B类 R（右） （f） ( λ ) F类 1 ( λ , x个 （f） ) ;
（b） 
x个 （f） * ∈ B类 R（右） （f） ( λ * ) .
均衡概念的局部概念是首选的，因为在目标函数中不假设凹凸性的人口博弈中，均衡概念是标准的。
必须考虑一些假设以确保问题解的最佳性和存在性(1)例如通信图的连通性和目标函数的正则性。
假设 1
连接系统中每个代理（如领导者和追随者种群代理）的通信图是连通的。
假设 2
每个目标函数 F类 1 ( λ , x个 ) 和 F类 2 ( λ , x个 ) 假设处处可微，且具有Lipschitz连续偏导数和Hessian矩阵 ∇ λ λ 2 F类 1 ( λ , x个 ) 和 ∇ x个 x个 2 F类 2 ( λ , x个 ) 是全局可逆的。
二层优化问题的局部解概念及一阶和二阶充要条件[19]需要在下一节中建立具有预测敏感性条件的Stackelberg人口流。
定义 2
A分 ( λ * , x个 * ) 据说是双层优化问题的局部解(1)如果：
（a） 
x个 * 是本地最小值 F类 2 ( λ * , x个 ) ;
（b） 
有一个街区 Ω ⊂ Λ × X（X） 属于 ( λ * , x个 * ) 这样的话 F类 1 ( λ * , x个 * ) ≤ F类 1 ( λ * , x个 ) 所有本地解决方案 ( λ * , x个 * ) ∈ Ω 这样的话 x个 * 是本地最小值 F类 2 ( λ , x个 ) .
引理 1
（一阶最优性条件）. 如果 ( λ * , x个 * ) 是问题的局部解决方案(1)，则它是满足一阶Karush–Kuhn–Tucker（KKT）条件的驻点：
∇ λ F类 1 ( λ * , x个 * ( λ * ) ) = 0 , ∇ x个 F类 2 ( λ * , x个 * ) = 0 .
对于给定的 λ ，假设2保证了(1)至多只有一个最佳解决方案 x个 * 满足低层引理1中的一阶最优性条件 ∇ x个 F类 2 ( λ , x个 * ) = 0 .隐函数定理[39]保证最优解函数的局部存在性 x个 * ( λ ) ，其导数为：
∇ λ x个 * ( λ ) = − ∇ x个 x个 2 F类 2 ( λ , x个 * ( λ ) ) − 1 ∇ x个 λ 2 F类 2 ( λ , x个 * ( λ ) ) .
此外，该最优解函数可用于给出方向导数的表达式，也称为点的总导数 x个 ( λ ) 定义为：
天 λ F类 1 ( λ , x个 ( λ ) ) : = ∇ λ F类 1 ( λ , x个 ( λ ) ) + ∇ λ x个 ( λ ) ⊤ ∇ x个 F类 2 ( λ , x个 ( λ ) ) .
在这里， ( · ) ⊤ 表示向量或矩阵转置。
引理 2
（二阶最优性条件）。如果是静止点 ( λ * , x个 * ) 满足：
∇ λ λ 2 F类 1 ( λ * , x个 * ( λ * ) ) ≥ 0 , ∇ x个 x个 2 F类 2 ( λ * , x个 * ) ≥ 0 ,
然后 ( λ * , x个 * ) 是双层优化问题的局部解(1).
二阶总导数的推导与一阶导数的推导类似(4)如下：，
天 λ λ 2 F类 1 ( λ , x个 ( λ ) ) : = ∇ λ λ 2 F类 1 ( λ , x个 ( λ ) ) + ∇ λ x个 ( λ ) ⊤ ∇ x个 λ 2 F类 1 ( λ , x个 ( λ ) ) + ∇ λ , x个 2 F类 1 ( λ , x个 ( λ ) ) ∇ λ x个 ( λ ) + ∇ λ x个 ( λ ) ⊤ ∇ x个 x个 2 F类 1 ( λ , x个 ( λ ) ) ∇ λ x个 ( λ ) + ∇ x个 F类 1 ( λ , x个 ( λ ) ) ⊤ ( ∇ λ λ 2 x个 ( λ ) + ∇ x个 x个 2 x个 ( λ ) ∇ λ x个 ( λ ) ) .
以下定义介绍了纳什均衡和斯塔克伯格均衡的微分形式[7].
定义 3
（微分纳什均衡（DNE））. 联合战略 ( λ * , x个 * ) ∈ Λ × X（X） 是微分纳什均衡，如果 ∇ λ F类 1 ( λ * , x个 * ) = 0 , ∇ x个 F类 2 ( λ * , x个 * ) = 0 , ∇ λ λ 2 F类 1 ( λ * , x个 * ) > 0 、和 ∇ x个 x个 F类 2 ( λ * , x个 * ) > 0 .
定义 4
（微分Stackelberg平衡（DSE））.联合战略 ( λ * , x个 * ) ∈ Λ × X（X） 如果总导数 天 λ F类 1 ( λ * , x个 * ) = 0 , ∇ x个 F类 2 ( λ * , x个 * ) = 0 , 天 λ λ 2 F类 1 ( λ * , x个 * ) > 0 、和 ∇ x个 x个 2 F类 2 ( λ * , x个 * ) > 0 .
在下一节中，我们将使用上述概念介绍这项工作的主要贡献。

3.具有预测敏感性条件的Stackelberg人口博弈

在本节中，我们展示了如何使用基于连续时间内两个动力学系统（即梯度下降和种群动力学）的预测灵敏度矩阵的互连，在单个时间尺度上解决两个时间尺度上的双层优化问题。首先，介绍了人口博弈的基本概念。由此，导出了Stackelberg种群对策的定义和结果。最后，利用Stackelberg人口对策的预测灵敏度矩阵给出了互连。

3.1. 人口游戏要点

人口博弈被认为是一种多主体模型，用于求解一组主体或一个群体的纳什均衡。人口博弈的主要动力学模型是复制子动力学。复制器动态已成功应用于各种工程应用中，在这些应用中，对动态环境不确定性的实时适应和鲁棒性至关重要[35]. 复制器动态表示质量M（M）玩家选择策略的时间演变。假设一组有限的纯策略 S公司 = { 1 , 2 , … , n个 } 分析基于与所选策略相关联的回报函数。种群状态由向量表示 x个 = [ x个 1 , x个 2 , … , x个 n个 ] ，并且种群状态受到单纯形给出的策略中所有可能的个体分布的约束：
Δ = x个 ∈ R（右） ≥ 0 n个 | ∑ 我 = 1 n个 x个 我 = M（M）
代理商的游戏策略我根据人口状况获得奖励。一个代表代理人游戏策略报酬的适应度函数我定义为 （f） 我 : Δ ↦ R（右） 对于 我 ∈ S公司 复制者动力学被解释为一种进化博弈，其中执行最成功策略（比平均回报更高）的代理群体的比例正在增加。代理通过整个群体的平均适应度函数动态比较其适应度函数与其他代理的性能 （f） ¯ = ∑ 我 n个 x个 我 （f） 我 也被理解为人口的预期平均回报。与每个代理群体相关的复制因子动态我-该策略由以下公式给出：
x个 ˙ 我 = x个 我 ( （f） 我 ( x个 ) − （f） ¯ ( x个 ) ) , 对于 全部的 我 ∈ S公司 .
如前所述，复制者动力学的解概念是一个均衡，而纳什均衡是人口博弈中的首选解概念。让F类是一个人口博弈：纳什均衡集定义为：
P（P） N个 E类 ( F类 ) = { x个 * ∈ Δ : x个 我 * > 0 ⇒ （f） 我 ( x个 * ) ≥ （f） j ( x个 * ) ,   ∀ 我 , j ∈ S公司 } .
所有代理人在纳什均衡中获得相同的利润。人口博弈的一个重要类型是势博弈。潜在游戏可以定义如下。
定义 5
让 F类 : R（右） + n个 ↦ R（右） n个 是具有正人口博弈收益的适应度函数的向量。让 V（V） : R（右） + n个 ↦ R（右） 是一个连续可微函数，且以下条件成立，
∇ x个 V（V） ( x个 ) = F类 ( x个 ) , ∀ x个 ∈ R（右） + n个 .
那么，F是一个完全潜在的博弈。
在潜在博弈中，一个单一的标量值函数与博弈相关联，称为潜在函数，它保留了有关代理人回报的关键信息。如果存在连续可微的势函数 V（V） : R（右） + n个 ↦ R（右） ，则潜在游戏满足：
⏴ V（V） ( x个 ) ⏴ x个 我 = （f） 我 ( x个 ) 对于 全部的 我 ∈ S公司 ,
和(8)也意味着F类必须满足外部对称性：
⏴ （f） 我 ⏴ x个 j = ⏴ （f） j ⏴ x个 我 对于 全部的 我 , j ∈ S公司 .
在势博弈中，纳什均衡与势函数的局部最大化有关[34]; 这在下面的引理中有说明。
引理 三。
在完全势博弈中，纳什均衡等于最大化的一阶KKT条件的解 V（V） ( x个 ) 服从一个可行集Δ.
最后，关于人口博弈稳定性的一个重要结果表明，人口博弈满足(8)如果势函数为V（V）是凹面的[34].

3.2. 斯塔克伯格人口游戏

人口游戏设计中的一个主要概念是选择适应度函数，以便复制器动力学(7)可以用作分布式优化算法。为了获得适应度函数以获得稳定收敛的解，我们使用以下引理4，它表征了低层优化问题的最优解(1)满足假设2[44].
引理 4
双层优化问题的一种解法(1) ( λ * , x个 * ) ，使用 λ * ∈ Λ 和 x个 * 属于可行集Δ，是人口博弈的最优解当且仅当 ∇ x个 我 F类 2 ( x个 我 * ) = ∇ x个 j F类 2 ( x个 j * ) 为所有人 我 , j ∈ S公司 .
定义 6
让Λ成为领导代理的一套策略 X（X） ∈ R（右） n个 成为追随者群体的策略集。让跟随人群的最佳响应函数 b条 第页 （f） ( λ ) 定义为：
b条 第页 （f） ( λ ) = { x个 ∈ Δ | x个 我 > 0 ⇒ （f） 我 ( λ , x个 ) ≥ （f） j ( λ , x个 ) , ∀ 我 , j ∈ S公司 } .
领导者战略 λ * ∈ Λ 和一个跟随者种群策略向量 x个 * 如果以下条件成立，则处于斯塔克伯格种群平衡：
（a） 
最大值 x个 ∈ b条 第页 （f） ( λ * ) F类 1 ( λ * , x个 ) ≤ 最大值 x个 ∈ b条 第页 （f） ( λ ) F类 1 ( λ , x个 ) ;
（b） 
x个 * ∈ b条 第页 （f） ( λ * ) .
定义 7
（微分Stackelberg布居平衡（DSPE））. 联合战略 ( λ * , x个 * ) ∈ Λ × Δ 是微分Stackelberg种群平衡，如果以下KKT条件成立：
（a） 
第一顺序： 天 λ F类 1 ( λ * , x个 * ) = 0 , ∇ x个 F类 2 ( λ * , x个 * ) = 0 ;
（b） 
二阶： 天 λ λ 2 F类 1 ( λ * , x个 * ) > 0 , ∇ x个 x个 2 F类 2 ( λ * , x个 * ) > 0 .
针对领导者上层优化问题(1)，我们使用方向导数的概念提出了一个连续的梯度下降流，也称为根据凸优化问题的梯度动力学传统思想获得的总导数[45]如下：
Σ 1 : λ ˙ = − 天 λ F类 1 ( λ , x个 ) .
对于低层优化问题，我们使用复制子动力学提出了跟随者种群博弈动力学(7). 为了保证人口对策的收敛性，使用目标函数选择定义5中引入的全势对策 F类 2 ( λ , x个 ) 作为势函数，即。， V（V） ( λ , x个 ) = − F类 2 ( λ , x个 ) 注意，潜在博弈与最大化潜在功能有关 V（V） ( x个 ) ，在这种情况下，我们寻求最小化，因此我们转换了问题。利用这个势函数，我们可以使用(8)，每种药剂的产量我:
（f） 我 ( λ , x个 ) = ⏴ V（V） ( λ , x个 ) ⏴ x个 我 = − ⏴ F类 2 ( λ , x个 ) ⏴ x个 我 ,
从那以后 F类 2 ( λ , x个 ) 是可分离的，则每个代理的适应度函数我是：
（f） 我 ( λ , x个 ) = − ⏴ ⏴ x个 我 ∑ 我 = 1 n个 J型 我 ( λ , x个 ) = − ⏴ J型 我 ( λ , x个 ) ⏴ x个 我 .
平均适应度函数 （f） ¯ ( λ , x个 ) 则为：
（f） ¯ ( λ , x个 ) = − ∑ 我 = 1 n个 x个 我 ⏴ J型 我 ( λ , x个 ) ⏴ x个 我 .
每个代理都具有健身功能(11)和平均适应度函数(12)，复制因子动态是低水平流，如下所示：
x个 ˙ 我 = x个 我 （f） 我 ( λ , x个 ) − （f） ¯ ( λ , x个 ) , ∀ 我 ∈ S公司 .
在紧凑形式中，我们可以定义适应度函数的向量 （f） ( λ , x个 ) = [ （f） 1 , （f） 2 , … , （f） n个 ] .我们获得了紧凑形式的复制因子动力学：
Σ 2 : x个 ˙ = x个 · （f） ( λ , x个 ) − （f） ¯ ( λ , x个 ) .
我们使用符号“·”表示向量之间的元素乘积。在这种领导-跟随群体动力学中，我们有一个两个时间尺度的嵌套交互模型，这可能会减缓动力学的收敛速度。为了在两个时间尺度上解决这些限制，我们建议使用下一节中提出的预测敏感性条件作用概念。

3.3. Stackelberg人口博弈的预测敏感性

在本节中，我们介绍了处理双层优化问题的预测敏感性条件处理方法(1). 假设2中引入的正则性保证了双层问题至多有一个解，这也确保了问题的适定性。然后，可以定义 x个 * 。主要思想体现在图1，其中显示灵敏度矩阵用于将梯度动力学与上层相关联的动力学集成到一个单一级别(10)复制因子动力学的低水平(13)分别是。
考虑到假设2(4)在任何时候都有明确的定义 ( λ , x个 ) ，因此定义任意点的扩展灵敏度 ( λ , x个 ) 可以是：
S公司 λ x个 ( λ , x个 ) : = − ∇ x个 x个 2 F类 2 ( λ , x个 ) − 1 ∇ x个 λ 2 F类 2 ( λ , x个 ) ,
同时：
S公司 λ x个 ( λ , x个 ) | ( λ , x个 * ( λ ) ) = ∇ λ x个 * ( λ ) .
感到满意。使用灵敏度矩阵的总导数可以扩展到任何点 ( λ , x个 ) 作为：
天 λ F类 1 ( λ , x个 ) : = ∇ λ F类 1 ( λ , x个 ) + S公司 λ x个 ( λ , x个 ) ⊤ ∇ x个 F类 2 ( λ , x个 ) .
表示为 Σ 1 和 Σ 2 可以使用灵敏度矩阵集成到单个时间尺度(14)和总导数(15). 基于对跟随种群动力学的优化敏感性，增加了一个前馈项作为预测敏感性条件 Σ 2 (13)预测先导梯度下降动力学的动力学 Σ 1 (10).
基于最近的工作[37]，我们使用了两个时间尺度系统之间的预测敏感性条件互连，而不需要时间尺度分离。这种互连保留了最佳解决方案 ( λ * , x个 * ( λ * ) ) 及其收敛性。基于灵敏度的条件矩阵 S公司 λ x个 用作两个子系统之间的互连，如所示图1，定义如下。
定义 8
考虑扩展的灵敏度 S公司 λ x个 ( λ , x个 ) 定义于(14)：条件矩阵定义为：
S公司 = 我 0 − S公司 λ x个 ( λ , x个 ) 我
其中I是适当维度的单位矩阵。
使用定义8，我们获得了预测敏感性Stackelberg学习动力学：
S公司 λ ˙ x个 ˙ = 我 0 − S公司 λ x个 ( λ , x个 ) 我 λ ˙ x个 ˙ = − 天 λ F类 1 ( λ , x个 ) x个 · （f） ( λ , x个 ) − （f） ¯ ( λ , x个 )
可以观察到，扩展的灵敏度项将跟随种群的动力学修改为：
x个 ˙ = x个 · （f） ( λ , x个 ) − （f） ¯ ( λ , x个 ) − S公司 λ x个 ( λ , x个 ) 天 λ F类 1 ( λ , x个 ) ,
第一个术语驱动人口状态x个最佳解决方案 x个 * ( λ ) 而预测敏感性前馈项预测了 x个 * ( λ ) 由于动力学 λ ˙ 完全预测敏感性Stackelberg人口流由下式给出：
λ ˙ = − 天 λ F类 1 ( λ , x个 ) x个 ˙ = x个 · （f） ( λ , x个 ) − （f） ¯ ( λ , x个 ) − S公司 λ x个 ( λ , x个 ) 天 λ F类 1 ( λ , x个 )
在下一个结果中，建立了定义7中定义的微分Stackelberg种群平衡概念与预测敏感性Stackelbeg种群动力学稳定性之间的关系(18).
定理 1
联合战略 ( λ * , x个 * ) 是Stackelberg人口游戏的DSPE(1)满足定义7中的条件当且仅当它是预测敏感性Stackelberg学习动力学的局部指数稳定点(18).
证明。 
考虑一下(18)满足假设1和2。由于我们正在证明局部稳定性，因此只需证明系统在联合策略下的雅可比矩阵的特征值 ( λ * , x个 * ) 具有严格的负实部[36]. 为此，根据定义7，如果 ( λ * , x个 * ) 是DSPE，则此时满足二阶条件，此外，已经证明，如果种群动力学是一个全势博弈，这意味着Stackelberg跟随种群（参见定义6）是渐近稳定的[35]则可以保证雅可比矩阵在点处具有严格的负部分 ( λ * , x个 * ) 相反，如果一个点 ( λ * , x个 * ) 系统的(18)局部指数稳定，则相应的雅可比矩阵必须具有负实部的特征值；因此，它是一个严格满足定义7中条件的局部解。□
在下一节中，将介绍一个有趣的应用程序，通过定价动态来协调分布式能源，以说明所提出框架的理论结果。

4.通过定价动态进行DER协调

基于定价动力学的分布式能源协调问题[6]以说明所提出的预测敏感性Stackelberg学习动力学的适用性。实现了一个包含反馈回路的动态交易控制，通过定价动力学解决了一个双层优化问题。DER由一组分布式生成器（追随者种群）与配电系统操作员（DSO）（领导者）交互以达到Stackelberg均衡。
考虑一组分布式生成器 G公司 = { 1 , 2 , … , M（M） } ：每个分布式生成器都有一个支付函数：
U型 我 ( λ , 第页 我 ) = λ 第页 我 − C类 我 ( 第页 j )
哪里 第页 我 是每台发电机产生的电量我（此功率以向量形式叠加为 第页 = [ 第页 1 , 第页 2 , … , 第页 M（M） ] ⊤ ), λ 是DSO定义的能源价格，以及 C类 我 ( 第页 我 ) 是每台发电机发电的成本函数。传统上，成本函数被选择为凸二次函数，例如 C类 我 ( 第页 我 ) = 1 / 2 α 我 第页 我 2 + β 我 第页 我 ，其中 α 我 , β 我 是成本系数。电力资源分配受功率平衡方程的约束 ∑ 我 = 1 M（M） 第页 我 = P（P） L（左） ，其中 P（P） L（左） 是配电网的总电力需求。
另一方面，定价问题的主要目标是确定能源生产商的市场清算价格（MCP）。配电系统运营商解决了一个优化问题，即在市场周期内使人口福利最大化。可以观察到，协调方案被转换为一个Stackelberg博弈，这是一个具有挑战性的双层优化问题。在目标函数中，假设DER将为特定价格选择最佳发电配置文件 λ .然后通过求解以下两层优化问题获得最优市场清算价格：
最大值 λ U型 ( λ , 第页 ) = ∑ 我 = 1 M（M） U型 我 ( λ , 第页 我 ) 秒 . 吨 . 第页 = 参数 最大值 第页 { U型 ( λ , 第页 ) : ∑ 我 = 1 M（M） 第页 我 = P（P） L（左） } .
由于我们提出了最小化问题的拟议动力学，我们将目标函数定义为 F类 1 ( λ , 第页 ) = F类 2 ( λ , 第页 ) = − U型 ( λ , 第页 ) = ∑ 我 = 1 M（M） ( C类 我 ( 第页 j ) − λ 第页 我 ) 根据人口游戏的描述，每个生成器的适应度函数如下所示：
（f） 我 ( λ , 第页 ) = d日 U型 d日 第页 我 = d日 U型 我 d日 第页 我 = λ − ( α 我 第页 我 + β 我 ) .
为了获得定价动态，我们需要灵敏度矩阵(14)以下为：
S公司 λ x个 ( λ , x个 ) = − ∇ x个 x个 2 F类 2 ( λ , x个 ) − 1 ∇ x个 λ 2 F类 2 ( λ , x个 ) = − − α 1 0 ⋯ 0 0 − α 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ − α M（M） − 1 1 1 ⋮ 1 = 1 / α 1 1 / α 2 ⋮ 1 / α M（M）
利用这个灵敏度矩阵，我们可以得到总导数(15)对于上层定价变量的梯度下降 λ 现在，我们准备介绍预测敏感性Stackelberg学习动力学(18)对于DER协调问题：
λ ˙ = ∑ 我 = 1 M（M） 第页 我 + ∑ 我 = 1 M（M） 第页 我 + β 我 α 我 − λ α 我 = ∑ 我 = 1 M（M） 2 第页 我 + ( β 我 − λ ) α 我 , 第页 ˙ = ( 1 / P（P） L（左） ) 第页 · （f） ( λ , 第页 ) − （f） ¯ ( λ , 第页 ) − 1 α ∑ 我 = 1 M（M） 第页 我 + ∑ 我 = 1 M（M） 第页 我 + β 我 α 我 − λ α 我 ,
哪里 1 α 是包含元素的向量 1 / α 我 .
仿真实验的分布式发电机（DG）容量和系数如所示表1。在IEEE 9总线测试馈线中模拟了数值实验，该馈线改编自[41]其中，使用带有本地控制器的电压源逆变器对每个DG进行建模。在图2给出了由三个分布式发电机和三个负载组成的配电网。测试用例场景如下。最初，系统必须提供的总负载为 P（P） L（左） = 4950 W、 对应于三种荷载 L（左） 1 = 1500 W、， L（左） 2 = 1250 W、 和 L（左） 3 = 2200 配电网中的W。配电网中分布式发电机之间以及与配电系统运营商之间动态交互，以通过定价动态获得最优解决方案，该定价动态确定每个发电机的最优价格和最优能量分配 天 G公司 基于提出的预测敏感性Stackelberg学习动力学(18). 然后，在 吨 = 0.8 模拟时，向电网添加额外负载，将总负载加总为 P（P） L（左） = 5850 西。
在图3给出了频率响应。结果表明，该系统在参考频率60Hz附近保持频率稳定。负载的变化被观察为小的过冲，但系统以快速响应返回到平衡点。
在图4显示了每个DG的功率行为。结果表明，价格较低的DG3（ α )向系统分配更多的功率，而更昂贵的DG2（具有更大的 α )减少电力调度。对负载变化的响应（参见图5)在 吨 = 0.8 观察到s，发电机动态适应新需求，超调量很小。
最后，图6呈现价格动态 λ ( 吨 ) 。观察到向稳定点的行为，然后，在 吨 = 0.8 s、 如预期。

5.结论

为了解决领导者和追随者群体之间的双层优化问题，我们提出了在单个时间尺度上由预测灵敏度条件矩阵互连的两个动态系统。对于领导者优化问题，我们开发了一种基于总导数的梯度下降算法，对于追随者的优化问题，使用种群动力学框架对交互策略代理的种群进行建模。我们将Stackelberg种群平衡的概念推广到种群动力学的微分Stackelbrg种群平衡。给出了Stackelberg种群学习动力学稳定性的理论保证。基于该方法，通过定价动力学解决了分布式能源协调问题。为了证明该框架的有效性，进行了一些仿真实验。作为未来的工作，有几种研究途径可供选择。例如，将这项工作扩展到包括不确定性，对于现实问题非常有用。

作者贡献

概念化、E.M.-N.和F.R。；方法，E.M.-N.和F.R。；软件，E.M.-N。；验证，E.M.-N.和F.R。；形式分析，E.M.-N.和F.R。；调查、E.M.-N.和F.R。；书面原稿编制，E.M.-N。；写作审查和编辑，E.M.-N.和F.R。；所有作者均已阅读并同意手稿的出版版本。

基金

本研究由米兰理工大学（Politecnico di Milano）资助，项目编号：AU20INTZ01，项目：“应用于智能电网的大规模优化和运营者理论方法”。

知情同意书

不适用。

数据可用性声明

没有可用数据。

利益冲突

作者声明没有利益冲突。资助者在研究的设计中没有任何作用；数据的收集、分析或解释；撰写手稿时；也不包括公布结果的决定。

工具书类

  1. Novak，A。；Feichtinger，G。；雷特曼，G.《与恐怖主义相关的差异博弈：纳什和斯塔克伯格策略》。J.优化。理论应用。 2010,144, 533–555. [谷歌学者] [交叉参考]
  2. 李毅。；石，D。；Chen，T.网络控制系统上的虚假数据注入攻击：Stackelberg博弈分析。IEEE传输。自动。控制 2018,63, 3503–3509. [谷歌学者] [交叉参考]
  3. 北卡罗来纳州格罗特。；扎克库尔，G。；De Schutter，B.系统最优控制的层次博弈理论：反向Stackelberg博弈在调节营销渠道和交通路线中的应用。IEEE控制系统。美格。 2017,37, 129–152. [谷歌学者]
  4. 莫塔勒布，M。；Siano，P。；Ghorbani，R.需求响应市场中的网络化Stackelberg竞争。申请。能源 2019,239, 680–691. [谷歌学者] [交叉参考]
  5. 陈，J。；Zhu，Q.智能电网中两级分布式能源管理的Stackelberg博弈方法。IEEE传输。智能电网 2017,9, 6554–6565. [谷歌学者] [交叉参考]
  6. Baron-Prada，E。；Mojica-Nava，E.人口博弈分布式能源的交易控制。国际电工杂志。电力能源系统。 2021,130, 106874. [谷歌学者] [交叉参考]
  7. Fiez，T。；Chasnov，B。；Ratliff，L.Stackelberg游戏中的内隐学习动力学：均衡特征、收敛分析和实证研究。机器学习国际会议论文集，PMLR 2020，在线，2020年7月13日至18日；第3133–3144页。[谷歌学者]
  8. Hirose，K。；Matsumura，T.比较斯塔克伯格混合双头垄断中数量和价格竞争中的福利和利润。《经济学杂志》。 2019,126, 75–93. [谷歌学者] [交叉参考] [绿色版本]
  9. Madry，A。；马克洛夫，A。；施密特，L。；Tsipras，D。；Vladu，A.面向对抗性攻击的深度学习模型。2018年4月30日至5月3日，加拿大不列颠哥伦比亚省温哥华市，学习代表国际会议记录。[谷歌学者]
  10. 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；Xu，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.生成对抗网。高级神经信息处理。系统。 2014,27, 2672–2680. [谷歌学者]
  11. 张凯。；杨，Z。；Bašar，T.多智能体强化学习：理论和算法的选择性概述。在强化学习与控制手册; 系统、决策和控制研究；施普林格：瑞士查姆，2021年；第325卷，第321-384页。[谷歌学者]
  12. Jin，C。；Netrapalli，P。；Jordan，M.非凸非凹极小极大优化中的局部最优性是什么？机器学习国际会议论文集。PMLR 2020，在线，2020年7月13日至18日；第4880–4889页。[谷歌学者]
  13. 辛哈，A。；马洛，P。；Deb，K.双层优化综述：从经典到进化方法及其应用。IEEE传输。进化。计算。 2018,22, 276–295. [谷歌学者] [交叉参考]
  14. 斯塔克伯格，H.V。市场经济理论; 牛津大学出版社：英国牛津，1952年。[谷歌学者]
  15. Bracken，J。；McGill，J.T.约束条件下优化问题的数学程序。操作。物件。 1973,21, 37–44. [谷歌学者] [交叉参考]
  16. Hansen，P。；Jaumard，B。；线性双层规划的新分枝定界规则。SIAM J.科学。统计计算。 1992,13, 1194–1217. [谷歌学者] [交叉参考]
  17. 维森特，L。；萨瓦德，G。；Jüdice，J.二次双层规划的下降方法。J.优化。理论应用。 1994,81, 379–399. [谷歌学者] [交叉参考]
  18. 邓，X.二层线性规划中的复杂性问题。在多级优化：算法与应用; 施普林格：柏林/海德堡，德国，1998年；第149-164页。[谷歌学者]
  19. 巴德，J.F。实用双层优化：算法与应用; Springer科学与商业媒体：美国马萨诸塞州波士顿，1998年；第30卷。[谷歌学者]
  20. 李·T。；Sethi，S.P.动态Stackelberg游戏模型综述。谨慎。Contin公司。动态。系统-B类 2017,22, 125. [谷歌学者] [交叉参考]
  21. 罗志强。；Pang，J.S。；D.拉尔夫。具有平衡约束的数学程序; 剑桥大学出版社：英国剑桥，1996年。[谷歌学者]
  22. 库尔卡尼，A.A。；Shanbhag，U.V.分层Stackelberg V/s Stackelbrg游戏的存在性结果。IEEE传输。自动。控制 2015,60, 3379–3384. [谷歌学者] [交叉参考] [绿色版本]
  23. Kebriaei，H.公司。；Iannelli，L.离散时间鲁棒层次线性二次动态博弈。IEEE传输。自动。控制 2017,63，902–909。[谷歌学者] [交叉参考]
  24. 巴沙尔，T。；Srikant，R.一款拥有大量粉丝的Stackelberg网络游戏。J.优化。理论应用。 2002,115, 479–490. [谷歌学者] [交叉参考]
  25. 法比亚尼，F。；塔杰迪尼，文学硕士。；Kebriaei，H.公司。；Grammatico，S.广义聚合博弈中的局部Stackelberg均衡寻求。IEEE传输。自动。控制 2021, 1–6. [谷歌学者] [交叉参考]
  26. Kok，K。；Widergren，S.A设备学会：将智能分布式资源与交易能源集成。IEEE电力能源杂志。 2016,14, 34–45. [谷歌学者] [交叉参考] [绿色版本]
  27. Bejestani，A.K。；Annaswamy，A。；Samad，T.智能电网可再生能源集成的分层事务控制架构：分析建模和稳定性。IEEE传输。智能电网 2014,5, 2054–2065. [谷歌学者] [交叉参考]
  28. 胡，J。；Yang，G。；Kok，K。；薛，Y。；Binder，H.W.事务控制：一种操作电力系统的框架，其特点是分布式能源的高度渗透。J.修订版。电力系统。清洁能源 2017,5, 451–464. [谷歌学者] [交叉参考] [绿色版本]
  29. 李，S。；Lian，J。；A.J.科内乔。；Zhang，W.交易能源系统：分布式能源的基于市场的协调。IEEE控制。系统。美格。 2020,40, 26–52. [谷歌学者] [交叉参考]
  30. 巴雷托，C。；Mojica-Nava，E。；Quijano，N.防止非营利公用事业效率损失的激励机制。国际电工杂志。电力能源系统。 2019,110, 523–535. [谷歌学者] [交叉参考] [绿色版本]
  31. 北卡罗来纳州格罗特。；德舒特，B。；Hellendorn，H.关于反向Stackelberg博弈最优非线性解的系统计算。IEEE传输。系统。人类网络。系统。 2014,44, 1315–1327. [谷歌学者] [交叉参考]
  32. 阿罗，K.J。；阿扎瓦，H。；Hurwicz，L。；H.乌扎瓦。线性和非线性规划研究; 斯坦福大学出版社：加州帕洛阿尔托，美国，1958年；第2卷。[谷歌学者]
  33. 赫尔姆克，美国。；J.B.摩尔。优化与动力系统; 施普林格科技与商业媒体：美国马萨诸塞州波士顿，2012年。[谷歌学者]
  34. 华盛顿州桑德霍姆。人口博弈与进化动力学; 麻省理工学院出版社：美国马萨诸塞州波士顿，2010年。[谷歌学者]
  35. 北奎亚诺。；奥坎波·马丁内斯，C。；巴雷罗·戈麦斯，J。；奥班多，G。；Pantoja，A。；Mojica-Nava，E.《人口博弈和进化动力学在分布式控制系统中的作用》。IEEE控制系统。 2017,37, 70–97. [谷歌学者]
  36. 香港哈利勒。非线性系统第3版。；《耐心大厅：上马鞍河》，新泽西州，美国，2002年。[谷歌学者]
  37. 皮卡洛，M。；博洛尼亚，S。；Dörfler，F.预测敏感性：超越多时间尺度控制设计的奇异摄动。arXiv公司 2021，arXiv:2101.04367。[谷歌学者]
  38. Dempe，S。；Mordukhovich，理学学士。；Zemkoho，A.B.二级值函数的灵敏度分析及其在二级规划中的应用。SIAM J.Optim公司。 2012,22, 1309–1343. [谷歌学者] [交叉参考]
  39. S.G.将军。；帕克斯，H.R。隐函数定理：历史、理论和应用; 施普林格科技与商业媒体：美国马萨诸塞州波士顿，2012年。[谷歌学者]
  40. Mojica-Nava，E。；马卡纳，C.A。；Quijano，N.分层微电网控制优化调度的动态人口游戏。IEEE传输。系统。人类网络。系统。 2014,44, 306–317. [谷歌学者] [交叉参考]
  41. Mojica-Nava，E。；巴雷托，C。；Quijano，N.微电网分布式控制的人口游戏方法。IEEE传输。智能电网 2015,6, 2586–2595. [谷歌学者] [交叉参考]
  42. Mojica-Nava，E。；里维拉，S。；Quijano，N.考虑网络损耗和可再生分布式能源整合的微电网博弈调度控制。IET通用。Transm公司。分发。 2017,11, 1583–1590. [谷歌学者] [交叉参考]
  43. 詹，Y.T。；李，X.S。；Huang，N.J.通过变分不等式和不动点的Stackelberg种群竞争模型。Carpathian J.数学。 2020,36, 331–339. [谷歌学者] [交叉参考]
  44. 拉克什曼，H。；De Farias，D.P.动态代理网络中的分散资源分配。SIAM J.Optim公司。 2008,19，911–940。[谷歌学者] [交叉参考]
  45. Bertsekas博士。；Nedic，A。；A.奥兹达格勒。凸分析与优化; 雅典娜科学贝尔蒙特：纳舒亚，新罕布什尔州，美国，2003年。[谷歌学者]
游戏12 00088 g001 550
图1。预测敏感性条件互连。
图1。预测敏感性条件互连。
游戏12 00088 g001
游戏12 00088 g002 550
图2。配电网，DER改编自IEEE 9总线测试馈线。
图2。配电网，DER改编自IEEE 9总线测试馈线。
游戏12 00088 g002
游戏12 00088 g003 550
图3。配电网的频率响应。
图3。配电网的频率响应。
游戏12 00088 g003
游戏12 00088 g004 550
图4。每个DG的功率响应。
图4。每个DG的功率响应。
游戏12 00088 g004
游戏12 00088 g005 550
图5。总负载要求响应。
图5。总负载要求响应。
游戏12 00088 g005
游戏12 00088 g006 550
图6。价格动态响应。
图6。价格动态响应。
游戏12 00088 g006
表
表1。系统参数的模拟。
表1。系统参数的模拟。
分布式发电机
我 第页 我 ¯ 第页 我 ̲ α 我 β 我
16000（瓦）200（宽）2.53.5
25500（宽）200（宽）2.53.6
34000（宽）200（宽）1.92.5
出版商备注：MDPI对公布的地图和机构关联中的管辖权主张保持中立。

分享和引用

MDPI和ACS样式

Mojica-Nava，E。；F.鲁伊斯。斯塔克伯格人口动力学：预测敏感性方法。游戏 2021,12, 88.https://doi.org/10.3390/g12040088

AMA风格

Mojica-Nava E，Ruiz F。斯塔克伯格人口动力学：预测敏感性方法。游戏. 2021; 12(4):88.https://doi.org/10.3390/g12040088

芝加哥/图拉宾风格

Mojica-Nava、Eduardo和Fredy Ruiz。2021.《斯塔克伯格人口动态：预测敏感性方法》游戏12，4号：88。https://doi.org/10.3390/g12040088

请注意，从2016年第一期开始，该杂志使用文章编号而不是页码。请参阅更多详细信息在这里.

文章指标

返回页首顶部