摘 要

随着经济的发展和社会的进步，世界各国越来越重视环境保护和全球气候变化问题，可再生能源在满足能源需求、改善能源结构、减少污染方面的发挥了重要的作用。然而，未来的可再生能源系统需要的不仅仅是高效、清洁、低成本，它们还需要有效的价格信号来激励可持续的能源消费，不再能够依赖于目前能源供应的模式。电力交易代理竞赛（Power Trading Agent Competition, PowerTAC）是一个年度竞赛，主要致力于未来电力零售市场特别是在智能电网环境中的设计和运营。该比赛使用基于真实数据和先进的客户模型的开源模拟平台，研究PowerTAC中的代理商策略，恰好可以帮助研究人员了解客户和零售商的决策动态以及市场设计的稳健性，解决了真实环境下风险较大、实验环境受限等弊端。本文在PowerTAC的环境下，针对代理商在不同市场环境下通过强化学习的方法，学习并适应不同运营环境，平衡用户的需求以及所需采购能源的数量，使得代理商的利益得到最大化。在此背景下，本文的主要研究内容如下：

1)对于依托环境PowerTAC进行相关研究。首先，结合官方wiki以及相关文献资料，对PowerTAC的模拟内容、平台架构和工作原理进行阐述；然后对PowerTAC中重要的组成部分及其在仿真模拟中的作用进行了整理和总结；最后分析和归纳了PowerTAC的研究现状以及各参赛队伍的主要策略。

2)建立了代理商在PowerTAC中收益函数模型，阐述了在模拟中对用户需求和能源采购数量优化问题的相互依赖性。并根据构建的收益函数，确定了针对用户需求以及能源采购值分别进行优化的方法。据此编写了代理商在批发市场中的基于强化学习（Reinforcement Learning）算法投标策略以及在客户市场中的价格合约发布策略并进行实验。发现了代理商在批发市场使用强化学习算法的适应性较好，但在客户市场中的用户需求量的预测准确度对于代理商的平衡性的影响较大的问题以及不同价格合约发布策略对于收益影响的问题。

关键词：能源；强化学习；代理商；交易代理竞赛

Abstract

With the development of the economy and the progress of society, countries in the world are paying more and more attention to environmental protection and global climate change. Renewable energy plays an important role in meeting energy demand, improving energy structure, and reducing pollution. However, future renewable energy systems need more than just efficiency, cleanliness, and low cost. They also need effective price signals to stimulate sustainable energy consumption and can no longer rely on the current energy supply model. The Power Trading Agent Competition (PowerTAC) is an annual competition focused on the design and operation of the future electricity retail market, especially in the smart grid environment. The game uses an open source simulation platform based on real data and advanced customer models to study agent strategies in PowerTAC, which can help researchers understand the decision-making dynamics of customers and retailers, as well as the robustness of market design, and solve risks in real environments. Larger, limited experimental environment and other drawbacks. In PowerTAC's environment, this article aims to maximize the benefits of agents by learning and adapting to different operating environments in different market environments, balancing the needs of users and the amount of energy to be purchased. In this context, the main research contents of this paper are as follows:

1) Relevant research on the environment PowerTAC. Firstly, with the official wiki and related literature, the simulation content, platform architecture and working principle of PowerTAC are elaborated; then the important components of PowerTAC and its role in simulation are sorted out and summarized; finally analyzed and summarized. The research status of PowerTAC and the main strategies of each participating team.

2) Established the revenue function model of agents in PowerTAC, and elaborated the interdependence of user demand and energy procurement quantity optimization in the simulation. Based on the revenue function constructed, the method for optimizing the user demand and energy purchase value was determined. Based on this, the agents wrote the bidding strategy based on Reinforcement Learning algorithm in the wholesale market, and the price contract release strategy in the customer market and conducted experiments. It is found that the adaptability of agents using the reinforcement learning algorithm in the wholesale market is better, but the problem that the forecast accuracy of the user demand in the customer market has a greater impact on the balance of the agents and the issue strategy of different price contracts for revenue issues.

Key Words：energy;reinforcement learning;broker;trade agent competition

目 录

摘 要 I

Abstract II

第1章 绪论 1

1.1 研究的目的及意义 1

1.2 国内外研究现状 2

1.3 研究内容 3

1.4 论文结构安排 3

第2章 PowerTAC 概述 5

2.1 PowerTAC系统架构 5

2.2 PowerTAC主要元素 7

2.2.1 代理商 7

2.2.2 模拟器时间 7

2.2.3 批发市场 8

2.2.4 客户市场 8

2.3 本章小结 9

第3章 PowerTAC中broker定价策略研究 10

3.1 批发市场策略 10

3.1.1 基于强化学习的投标算法 11

3.1.2 批发市场算法概述 12

3.2 客户市场策略 13

3.2.1 客户市场价格合约发布策略 13

3.2.2 客户市场算法概述 14

3.3 本章小结 14

第4章 实验和结果 15

4.1 实验方法 15

4.2 实验结果 15

4.2.1 与Default Broker竞争 15

4.2.2 与SPOT17竞争 16

4.2.3 与AgentUDE17竞争 18

4.2.4 多代理商环境下的竞争 20

4.3 实验分析 22

第5章 结束语 23

5.1本文工作总结 23

5.2下一步工作展望 23

参考文献 24

致 谢 26

第1章 绪论

1.1 研究的目的及意义

随着经济的发展和社会的进步，人类对能源的需求日益增长，世界各国越来越重视环境保护和全球气候变化问题^[1]，并开始高度重视和积极加强对可再生能源的开发利用，发展可再生能源已经成为许多国家能源发展战略的重要组成部分^[2]。然而，未来的可持续能源系统需要的不仅仅是高效、清洁、低成本，它还需要有效的价格信号来激励可持续的能源消费，以及更好的实时能源供求协调^[3]。为了应对能源消耗、生产和管理方面的变化，需要对现有能源模型和基础设施进行结构调整^[4]。能源生产和使用的分配系统的架构从集中式转向分布式，目前的能源模型无法应对新兴市场的需求和趋势^[5]。

对于目前的电力能源供应企业来说，暴露出的问题主要体现在：（1）可再生能源在天气变化的情况下，供给没有跟随需求，而是受到一些外部因素的影响，造成能源市场的不稳定。这些结构的变化要求参与者的行为方式得到改善，不仅与物理电网有关，而且主要涉及尤其是能源市场相关服务。电力价格的可变性被视为智能电网发展的重要先决条件，这些可变价格可以为消费者提供一个经济动机，将其部分负荷从用电高峰期转移到能源更丰富的时期。（2）在零售市场中，存在各种设定零售电价的机制，这些机制的表现取决于自利行为者的行为，在现实世界中进行实验和部署的成本、风险和代价都较高，会给现实代理商带来高额的成本，因此需在模拟的竞争环境中进行测试和实验^[6]。

人们日益增长的环保意识使他们开始使用更环保、高效的能源，从而更有效地监控和控制其能耗。这使得消费者能够改变他们的能源消耗习惯，比如将能源负荷较大的时段改为能源价格最低时的时段。能源消耗和生产管理不仅是客户的担忧，而且是低压电网中广泛存在分布式可再生能源发电机的新趋势。这个因素给主要能源生产和配电公司带来了新的挑战^[7]。鉴于生产波动性（天气不确定性影响可再生能源发电）以及消费灵活性（由智能电网和家庭自动化技术引起），在这种新情景下，企业无法再预测能源需求。可以控制和转移负载以提高客户效率）。所有这些特征增加了发电公司和配电公司在保持电能供应稳定和质量方面的难度。从这个意义上说，供应商公司采用的集中控制策略不适合处理沿网格元件安装的大量小型分布式可再生能源的间歇式能源生产。因此，有必要创建更灵活，分散和自组织的控制基础设施和能够管理电网的策略^[6]。

为了改善和应对电力系统中所存在的上述问题，开发人员提出了使用模拟器模拟交易和客户模型，在这其中PowerTAC是一个较为先进的低风险的开源模拟平台，它模拟了一个“自由化”的零售电力市场，在那里竞争的商业实体或代理商通过价格合约向客户提供能源服务，然后必须通过批发市场交易来服务这些客户。在电力交易代理竞争（PowerTAC）模拟平台中，代理商（broker）在当地的配电区域扮演零售经纪人的角色，从批发市场以及当地的装有太阳能电池板的家庭和企业购买电力，再向当地客户销售电力。零售代理商必须解决一个供应链的问题，在这个问题里，电力是无限且容易消失的，而且供给和需求必须始终保持平衡^[3]。在PowerTAC这样一个开放的、有竞争力的市场模拟平台，它将满足基于对零售能源市场结构和运作的强健研究结果的政策指导的需要。这些结果将有助于政策制定者建立能够为能源生产者和消费者提供激励措施的体系。它们还将帮助开发和验证智能自动化技术，这些技术将允许对这些机构的零售实体进行有效管理^[3]。

本文主要研究了PowerTAC中broker在竞争环境下的定价策略问题，使用强化学习设计了相应的定价策略并进行算法的实现。解决了在真实电网环境下进行实验和操作风险较大、实验环境受限等问题，帮助研究人员了解客户和零售商的决策动态以及市场设计的稳健性。此外，研究定价策略能够提高代理商在竞争下表现，从而提高代理商的经营利润。

1.2 国内外研究现状

PowerTAC自2011年开办以来，吸引了来自世界各地的组织和个人参与到其中。并在不断的版本更新中添加了许多切合实际的功能和改进。PowerTAC中，国外主要的参赛和研究组织有：AgentUDE，TacTex，CwiBroker以及CrocodileAgent等，目前国内暂无个人或组织在PowerTAC参赛和研究。

AgentUDE团队的分析主要是在不同市场的代理行为之间进行的。在批发市场上，AgentUDE使用自适应预测技术。对客户市场的一种方法就是以最低的价格发布关税。在平衡市场上，它的行动再次基于预测，通过使用以前的客户消费数据来预测^[8]。

TacTex团队的分析估计了可能的价格的长期运行效益，并以最大化效益值的目标来构建它们。批发市场的战略是为了降低成本和增加利润。TacTex应用机器学习算法来评估他们认为重要的变量^[9]。

CwiBroker团队使用的策略取决于每款游戏的竞争对手数量。对于双头垄断游戏，它采用一种改良后的“以牙还牙”策略，而对于寡头垄断游戏，它预测一套关税的利润潜力，并利用回归分析来做出预测^[10]。

CrocodileAgent团队的主要策略是提供更具竞争力的价格合同。 它学习和适应市场趋势，并不断提供改进的价格^[11]。

SPOT团队的主要策略是研究了决策树和神经网络的使用，以预测批发市场的清算价格，以及使用强化学习来学习在客户市场中定价的良好策略^[12]。

1.3 研究内容

结合以上对研究的目的以及意义的阐述，本文的研究路线图如图1.1所示，本文以PowerTAC平台中broker的相关策略为研究对象，实现下列研究目标：

1. 对PowerTAC平台进行深入研究，理解平台运行的基本原理和平台搭建的步骤，总结和分析PowerTAC代码的架构及代码编写方法；
2. 重点针对批发市场，在批发市场中通过强化学习的相关方法和理论，研究PowerTAC中broker的竞争定价策略，以实现其利润最大化，并分析该算法在竞争环境下进行投标的优势；
3. 通过实现broker的定价策略，把理论应用到实践中，在PowerTAC平台中通过与不同的往届参赛代理商代码进行竞争的实验，验证算法的有效性及其性能。

图1.1 研究路线图

1.4 论文结构安排

下文的结构安排如下：

第1章介绍了本文的研究背景及意义，首先介绍了本文的研究目的及意义；接着详细介绍了本文的研究内容以及国内外研究现状；最后简单阐述了所应用的技术路线图，说明了本研究工作中所应用的研究思路以及方法。

第2章中，对本文研究的依托平台PowerTAC相关背景信息进行介绍。首先介绍了PowerTAC的逻辑组成，对PowerTAC中的代理商、模拟器时间、批发市场以及客户市场等相关组成元素的概念进行阐述。

第3章中研究代理商的定价策略。首先，分别构建了代理商在批发市场和客户市场中的收益函数模型，并总体地阐述了策略的思路和优化方法；然后着重针对批发市场的策略以及算法进行了详细的阐述；最后对客户市场的相关策略和算法进行了阐述。

第4章中对编写的策略进行测试和实验。首先介绍了在PowerTAC进行实验的版本以及实验方法等。然后根据以上的实验方法，在PowerTAC环境中分别与不同的代理商展开竞争，并对实验截图进行分析和总结；最后对编写的算法进行总的总结与分析，分别阐述了策略的优点与不足。

第5章是对研究工作的总结，并根据实验结果对下一步研究工作提出展望。

第2章 PowerTAC 概述

本章主要介绍PowerTAC平台的组织结构和概念，以便于读者快速的对PowerTAC的运行原理进行基本的了解。

2.1 PowerTAC系统架构

PowerTAC模拟了一个中等城市的智能电网环境中竞争激烈的零售电力市场。图2.1中显示了PowerTAC的主要元素。主要元素有：竞争代理商、零售客户（包括生产者/消费者）、能源供应商、配电公司，以及三种类型的市场^[3]：

1. 批发市场，在批发市场中，能源在代理商与大型的能源供应商之间进行交易；
2. 零售（价格）市场，代理商在零售市场中与消费者以及分散的可再生能源（如家中安装有太阳能板的用户）的生产者之间进行交易；
3. 平衡市场的存在保证了实时的供需平衡，当代理商的供需出现不平衡时，其需要为不平衡的部分缴纳相应的费用。

图2.1 PowerTAC 主要构成元素

以上是毕业论文大纲或资料介绍，该课题完整毕业论文、开题报告、任务书、程序设计、图纸设计等资料请添加微信获取，微信号：bysjorg。

相关图片展示：