A Deep Reinforcement Learning Framework for Continuous Intraday Market Bidding

Boukas, Ioannis; Ernst, Damien; Théate, Thibaut; Bolland, Adrien; Huynen, Alexandre; Buchwald, Martin; Wynants, Christelle; Cornélusse, Bertrand

doi:10.1007/s10994-021-06020-8

下载

文章（科学期刊）

连续日内市场竞价的深度强化学习框架

伊奥安尼斯·博卡斯;达米安·恩斯特;Théate、Thibaut 等。

2021•在机器学习

同行评审由ORBi验证

永久链接
https://hdl.handle.net/2268/232846

内政部
2007年10月10日/10994-021-06020-8

文件（1）发送至细节统计参考文献类似出版物

文件夹

全文

Boukas2021_文章_深度强化学习框架.pdf

出版商印后（4.16 MB）

下载

ORBi中的所有文档都受用户许可证.

发送至

RIS公司 BibTex公司亚太地区芝加哥永久链接 X（X）Linkedin公司

细节

关键词：

欧洲连续日内市场；储能控制；马尔可夫决策过程；深度强化学习；异步拟合Q迭代

摘要：

[英]可变能源的大规模整合预计将使大部分能源交换更接近实时，从而提供更准确的预测。在这种情况下，短期电力市场，尤其是日内市场被视为这些交易所的合适交易场所。成功整合可再生能源的一个关键因素是使用储能。在本文中，我们为储能在欧洲连续盘中市场的战略参与提出了一个新的建模框架，在该市场中，通过集中订单簿进行交易。存储设备运营商的目标是在整个交易期内实现利润最大化，同时考虑到设备的运营限制。将日内市场交易的序贯决策问题建模为马尔可夫决策过程。由于其采样效率，选择了拟合Q迭代算法的异步版本来解决此问题。订单簿中现有订单的数量庞大且多变，这促使了高级操作和替代状态表示的使用。历史数据用于生成大量人工轨迹，以解决学习过程中的探索问题。由此产生的策略经过了回溯测试，并与许多基准策略进行了比较。最后，评估了存储特性对日内市场总收入的影响。

学科：

能源

作者、合著者：

伊奥安尼斯·博卡斯 ;列日大学。电的。，e电子。等信息。（Inst.Montefore）>智能微电网

达米安·恩斯特 ;里昂大学。电的。，e电子。等信息。（Inst.Montefore）>智能电网

Théate、Thibaut;里昂大学。电的。，e电子。等信息。（Inst.Montefore）>智能电网

阿德里安·博兰;里昂大学（Universityéde Liège-ULiège>Master ingé）。公民。électr。，翅片。

亚历山大·惠宁

马丁·布赫瓦尔德

克里斯蒂尔·怀尼特斯

伯特兰玉米露 ;里昂大学。电动。，e电子。等信息。（Inst.Montefore）>智能微电网

语言：

英语

标题：

连续日内市场竞价的深度强化学习框架

出版日期：

2021年7月

期刊标题：

机器学习

国际标准编号：

0885-6125

eISSN:

1573-0565

发布者：

荷兰Kluwer学术出版社

同行评审：

同行评审由ORBi验证

其他URL:

https://doi.org/10.1007/s10994-021-06020-8

ORBi上提供：

自2019年2月12日起

统计

视图数量

1816年（ULiège 138年）

下载次数

1023（ULiège 44）

更多统计信息

Scopus引文^®

Scopus引文^®
没有自我引用

开放式引文

OpenAlex引文

参考文献

阿伊德·R、格鲁特·P和范·H（2016）。日内电力市场中的最优交易问题。数学与金融经济学，10（1），49-85。DOI:10.1007/s11579-015-0150-8
Baillo，A.、Ventosa，M.、Rivier，M.和Ramos，A.（2004年）。电力现货市场中发电公司的最优供应策略。IEEE电力系统汇刊，19（2），745–753。10.1109/TPWRS.2003.821429。内政部：10.1109/TPWRS.2003.821429
Balardy，C.（2017a）。德国连续盘中市场：交易日内订单簿的行为。在满足新兴经济体的能源需求方面，第40届IAEE国际会议，2017年6月18日至21日。国际能源经济协会。
Balardy，C.（2017b）。德国电力连续市场中的垃圾扩散分析。走向可持续能源系统：进化还是革命？2017年9月3日至6日，第15届IAEE欧洲会议。国际能源经济协会。
Bertrand，G.和Papavasiliou，A.（2019年）。存储单元在连续日内电力市场中的自适应交易。IEEE电力系统交易。10.1109/TPWRS.2019.2957246。DOI:10.10109/TPWRS.2019.2957246
Bertsekas，D.P.（2005）。动态规划和优化控制（第一卷）。马萨诸塞州贝尔蒙特：雅典娜科学。
Boomsma，T.K.、Juul，N.和Fleten，S.-E.（2014）。序贯电力市场中的竞价：北欧案例。欧洲运筹学杂志，238（3），797-809。10.1016/j.ejor.2014.04.027。DOI:10.1016/j.ejor.2014.04.027
Borggrefe，F.和Neuhoff，K.（2011年）。平衡和日内市场设计：风电集成选项。DIW讨论文件1162，柏林。http://hdl.handle.net/10419/61319。
Braun，S.和Hoffmann，R.（2016）。德国电力市场中抽水水电站的日内优化。能源媒体，87，45-52。2016年10月10日/j.egypro.2015.12.356。DOI:10.1016/j.egypro.2015.12.356
Busoniu，L.、Babuska，R.、De Schutter，B.和Ernst，D.（2017年）。使用函数逼近器的强化学习和动态编程。伦敦：CRC出版社。内政部：10.1201/9781439821091
EPEXSPOT公司。2017年连续日内市场数据。http://www.epexspot.com/en/market-data/intradaycontinuous。
EPEXSPOT公司。EPEXSPOT运营规则，2019年。https://www.epexspot.com/document/40170/EPEX网站
Ernst，D.、Geurts，P.和Wehenkel，L.（2005）。基于树的批处理模式强化学习。机器学习研究杂志，6503-556。
Fleten，S.E.和Kristoffersen，T.K.（2007年）。北欧水电生产商投标策略优化的随机规划。欧洲运筹学杂志，181（2），916–928。2016年10月10日/j.ejor.2006.08.023。DOI:10.1016/j.ejor.2006.08.023
Garnier，E.和Madlener，R.（2015）。平衡连续交易日内市场的预测误差。能源系统，6（3），361–388。内政部：10.1007/s12667-015-0143-y
Gönsch，J.和Hassler，M.（2016）。销售还是存储？ADP可再生能源营销方法。OR Spectrum，38（3），633–660。10.1007/s00291-016-0439-x.DOI:10.1007/s00291-016-0439-x
Goodfellow，I.，Bengio，Y.，&；Courville，A.（2016）。深度学习。麻省理工学院出版社。http://www.deeplearningbook.org。
Gray，J.和Khandelwal，P.（2004）。朝向一个现实的气体储存模型。现在的商品，7（2），1-4。
Hagemann，S.（2015）。德国日内电力市场的价格决定因素：实证分析。《能源市场杂志》，8，21–45。内政部：10.21314/JEM.2015.128
Hassler，M.（2017）。适用于可再生能源短期交易的启发式决策规则，可用于共用能源存储。计算机与运筹学。2016年10月10日/j.c或2016年12月27日。DOI:10.1016/j.cor.2016.12.027
Henriot，A.（2014）。集中风力发电管理的市场设计：处理日内市场的低预测性。《能源杂志》，35（1），99–117。10.5547/01956574.35.1.6. DOI:10.5547/019565774.35.1.6
Horgan，D.、Quan，J.、Budden，D.、Barth-Maron，G.、Hessel，M.、Van Hasselt，H.和Silver，D.（2018年）。分布式优先体验重播。arXiv:1803.00933。
蒋，D.R.，&鲍威尔，W.B。(2014). 使用近似动态规划，在具有电池存储的实时电力市场中进行最优提前小时竞价（第1-28页）。https://doi.org/10.1287/ijoc.2015.0640，arxiv:1402.3575。
Karanfil，F.和Li，Y.（2017年）。连续盘中电力市场的作用：丹麦大份额风力发电的整合。《能源杂志》，38（2），107-130。10.5547/01956574.38.2.fkar。内政部：10.5547/01956574.38.2.fkar
Le，H.L.、Ilea，V.和Bovo，C.（2019年）。欧洲一体化日内电力市场：规则、建模和分析。应用能源，238258–273。2016年10月10日/j.apenergy.2018.12.073。内政部：10.1016/j.apenergy.2018.12.073
Littman，M.L.（1994）。马尔可夫博弈作为多智能体强化学习的框架。1994年机器学习论文集（第157-163页）。爱思唯尔。
Löhndorf，N.和Wozabal，D.（2020年）。不完全市场中的天然气储量估值。欧洲运筹学杂志，288318-330。DOI:10.1016/j.ejor.2020.05.044
Meeus，B.L.和Schittekatte，T.（2017）。欧盟电力网络代码：佛罗伦萨监管学院在线课程的课程文本。
Mnih，V.，Badia，A.P。，Mirza，M.、Graves，A.、Lillicrap，T.、Harley，T.，Silver，D.和Kavukcuoglu，K.（2016）。深度强化学习的异步方法。在机器学习国际会议上（第1928-1937页）。
Neuhoff，K.、Ritter，N.、Salah-Abou-El-Enien，A.和Vassilopulos，P.（2016）。日间电力市场：离散化连续交易？。
潘迪奇，H.、莫拉莱斯，J.M.、科内乔，A.J.和库兹勒，i.（2013）。基于随机规划的虚拟电厂模型。应用能源，105，282–292。2016年10月10日/j.可行性.2012.12.077。DOI:10.1016/j.apenergy.2012.12.077
Pérez Arriaga，I.和Knittel，C.等人（2016）《未来的效用》。麻省理工学院能源倡议响应。国际标准图书编号9780692808245。https://energy.mit.edu/uof。
Plazas，M.A.、Conejo，A.J.和Prieto，F.J.（2005）。发电商的多市场最优投标。IEEE电力系统交易，20（4），2041–2050。10.1109/TPWRS.2005.856987。内政部：10.1109/TPWRS.2005.856987
Scharff，R.和Amelin，M.（2016）。连续盘中市场Elbas的交易行为。能源政策，88，544–557。2016年10月10日/j.enpol.2015.10.045。DOI:10.1016/j.enpol.2015.10.045
Spot，N.（2018年）。Xbid跨境日内市场项目。https://www.nordpoolspot.com/globalassets/download-center/xbid/xbid-qa_final.pdf。
欧洲委员会。2030年能源战略，2017年。https://ec.europa.eu/energy/en/topics/energy-strategy-and-energy-union/2030-energy-trategy。
Watkins，C.J.和Dayan，P.（1992年）。Q学习。机器学习，8（3-4），279-292。