基于R（λ）学习的孤岛微电网智能发电控制.pdf

第４０卷第１３期２０１２年７月１日电力系统保护与控制ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄＣｏｎｔｒｏｌｖ０１．４０ＮＯ．１３Ｊｕｌｙ１，２０１２基于Ｒ（）学习的孤岛微电网智能发电控制余涛，梁海华，周斌（１．华南理工大学电力学院，广东广州５１０６４０；２．香港理工大学电机工程学系，中国香港特别行政区）摘要：通过研究各种分布式电源的发电特性，搭建了含风电、光伏发电、飞轮储能、小水电、微型燃气轮机与负荷的微电网负荷频率控制（ＬｏａｄＦｒｅｑｕｅｎｃｙＣｏｎｔｒｏ１，ＬＦＣ）模型，其中小水电和微型燃气轮机为调频机组。将大型互联电网中的集中式自动发电控制（ＡｕｔｏｍａｔｉｃＧｅｎｅｒａｔｉｏｎＣｏｎｔｒｏｌ，ＡＧＣ）原理引入微电网，并结合基于平均报酬模型的多步Ｒ（＂学习算法，提出了一种孤岛运行模式下基于强化学习的ＡＧＣ控制器，以实现对微网的智能发电控制与频率调整。仿真试验分析表明，与ＰＩ控制、Ｑ学习和Ｏ（学习相比，所提出的Ｒ（九）控制器具有快速收敛特性和良好的动态性能以及较强的模型适应性。关键词：Ｒ（学习；智能发电控制；微电网；分布式电源；负荷频率控制ＳｍａｒｔｐｏｗｅｒｇｅｎｅｒａｔｉｏｎｃｏｎｔｒｏｌｆｏｒｍｉｃｒｏｇｒｉｄｓｉｓｌａｎｄｅｄｏｐｅｒａｔｉｏｎｂａｓｅｄｏｎＲ（ｌｅａｒｎｉｎｇＹＵＴａｏ，ＬＩＡＮＧＨａｉ．ｈｕａ，ＺＨＯＵＢｉｎ２（１．ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒ，ＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０６４０，Ｃｈｉｎａ；２．ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＨｏｎｇＫｏｎｇＰｏｌｙｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔｙ，ＨｏｎｇＫｏｎｇＳＡＲ，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｓｔｕｄｉｅｓｔｈｅｃｈａｒａｃｔｅ．ｒｉｓｔｉｃｓｏｆａｖａｒｉｅｔｙｏｆｄｉｓｔｒｉｂｕｔｅｄｇｅｎｅｒａｔｉｏｎｓ，ａｎｄｅｓｔａｂｌｉｓｈｅｓａｍｉｃｒｏｇｒｉｄｌｏａｄｆｒｅｑｕｅｎｃｙｃｏｎｔｒｏｌ（ＬＦＣ）ｍｏｄｅｌｃｏｎｔａｉｎｉｎｇａｗｉｎｄｔｕｒｂｉｎｅ，ｐｈｏｔｏｖｏｌｔａｉｃｇｅｎｅｒａｔｉｏｎ，ｆｌｙｗｈｅｅｌｅｎｅｒｇｙｓｔｏｒａｇｅ，ｓｍａｌｌｈｙｄｒｏｕｎｉｔ，ａｍｉｃｒｏｇａｓｔｕｒｂｉｎｅａｎｄｔｈｅｌｏａｄ．ＩｎｔｈｅｍｉｃｒｏｇｉｒｄＬＦＣｍｏｄｅｌ，ｔｈｅｈｙｄｒｏｕｎｉｔａｎｄｔｈｅｍｉｃｒｏｇａｓｔｕｒｂｉｎｅａｒｅａｄｏｐｔｅｄａｓＡＧＣｕｎｉｔｓ．Ｔｈｅａｕｔｏｍａｔｉｃ—ｇｅｎｅｒａｔｉｏｎｃｏｎｔｒｏｌ（ＡＧＣ）ｐｒｉｎｃｉｐｌｅｆｏｒｔｈｅｌａｒｇｅｉｎｔｅｒｃｏｎｎｅｃｔｅｄｐｏｗｅｒｓｙｓｔｅｍｓｉｓｉｎｔｒｏｄｕｃｅｄｉｎｔｏｔｈｅｍｉｃｒｏｇｒｉｄ，ａｎｄｔｈｅｍｕｌｔｉｓｔｅｐＲ（）ｌｅａｒｎｉｎｇｉｓａｐｐｌｉｅｄｔｏｐｒｏｐｏｓｅａｎｏｖｅｌｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｂａｓｅｄＡＧＣｃｏｎｔｒｏｌｌｅｒＳＯａｓｔｏａｃｈｉｅｖｅｔｈｅｓｍａｒｔｇｅｎｅｒａｔｉｏｎｃｏｎｔｒｏｌ—ａｎｄｆｒｅｑｕｅｎｃｙａｄｊｕｓｔｍｅｎｔｆｏｒｍｉｃｒｏｇｒｉｄｓｉｓｌａｎｄｅｄｏｐｅｒａｔｉｏｎ．ＳｉｍｕｌａｔｉｏｎａｎａｌｙｓｉｓａｎｄｃｏｍｐａｒｉｓｏｎｗｉｔｈＰＩｃｏｎｔｒｏｌ，ＱｌｅａｒｎｉｎｇａｎｄＱ（ｌｅａｒｎｉｎｇｓｈｏｗｔｈａｔｔｈｅＲ（九）ｌｅａｒｎｉｎｇｃｏｎｔｒｏｌｌｅｒｈａｓｒａｐｉｄｃｏｎｖｅｒｇｅｎｃｅｒａｔｅａｎｄｇｏｏｄｄｙｎａｍｉｃｐｅｒｆｏｒｍａｎｃｅａｓｗｅｌｌａｓｓｔｒｏｎｇｍｏｄｅｌａｄａｐｔａｂｉｌｉｔｙ．ＴｈｉｓｗｏｒｋｉｓｓｕｐｐｏｒｔｅｄｂｙＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｔｍｄａｔｉｏｎｏｆＣｈｉｎａ（Ｎｏ．５０８０７０１６ａｎｄＮｏ．５１１７７０５１１．Ｋｅｙｗｏｒｄｓ：Ｒ（九）ｌｅａｒｎｉｎｇ；ｓｍａｒｔｇｅｎｅｒａｔｉｏｎｃｏｎｔｒｏｌ；ｍｉｃｒｏｇｒｉｄ；ｄｉｓｔｒｉｂｕｔｅｄｇｅｎｅｒａｔｉｏｎ；ｌｏａｄｆｒｅｑｕｅｎｃｙｃｏｎｔｒｏｌ中图分类号：ＴＭ７６文献标识码：Ａ——文章编号：１６７４３４１５（２０１２）１３０００７－０７０引言现代互联大电网中，自动发电控制是电力系统负荷频率控制与运行不可或缺的技术手段］。目前，关于ＡＧＣ控制策略及其软硬件系统的研究主要都集中在大型互联区域电网，而对于微电网的负荷频率控制及调度方面则相关研究报道较少。微电网是由分布式电源、储能装置、负荷与各种监控装置组基金项目：国家自然科学基金项目（５Ｏ８Ｏ７０１６，５１１７７０５１）；中央高校基本科研业务费（２０１２ＺＺ００２０）；清华大学国家重点实验室开放项目（ＳＫＬＤ１０ＫＭ０１）；中国南方电网科技项目成的微型电网，可以灵活地实现并网和孤岛运行，是智能电网的重要组成部分［。当前国内外学者对于微电网的研究大多集中在对不同类型分布式电源间的组合与优化，以及微网的建模与分析［３－５］。其中，文献『５１提出了微网中虚拟同步发电机的概念，并详细分析了将传统电力系统中集中式频率控制引入微电网的可行性。与传统大电网不同，微电网中间歇式新能源会令电网有功负荷平衡中的随机性分量显著变大，并且考虑到微网负荷扰动本身具有一定的不确定性，通过理论探讨分析表明，微电网的负荷频率控制数学模型可视为一个随机多级决策问题。因此，将基．８．电力系统保护与控制于随机运筹学及马尔可夫过程的强化学习控制理论［６３Ｉ入微网智能发电控制领域具备很高的可行性—与科学性。笔者在文献［７８］中分别引入基于折扣报酬模型的单步Ｑ学习和多步Ｑ（九）学习算法，针对大型互联电网的动态最优ＡＧＣ控制策略进行深入研究，实现了ＡＧＣ控制器的在线学习与动态优化决“”策。随后，在文献ｆ９】中提出一种在线模仿学习以解决强化学习控制方法在真实电力系统中的工程实用性与应用性，且仿真验证了Ｒ（学习具备更高的在线优化能力与学习效率。本文首先通过研究分析各类型分布式电源的发电特性，仿真搭建了一个含风电、光伏发电、飞轮储能、小水电、微型燃气轮机与负荷的微电网ＬＦＣ模型。然后针对多分布式电源组成的微网孤岛运行时的智能发电控制，引入基于平均报酬强化学习模型的Ｒ（学习控制算法，提出了一种集中式的微电网分层ＡＧＣ控制框架。本文所提出的两层ＡＧＣ控制框架中，上层通过设置一个微网集控器总调度端，对频率偏差量进行就地采样，由基于Ｒ（学习的ＡＧＣ控制器（简称Ｒ（控制器）优化计算得出ＡＧＣ总调度指令。而下层模块属于一个指令分配器，以解决ＡＧＣ总调节指令在机组间的功率分配问题。其中小水电和微型燃气轮机作为ＡＧＣ机组，不断接收来自上层的功率调节指令，本文下层ＡＧＣ分配器采用一种按相同可调容量比例分配的比例分配器［１】ｏ１微网模型研究１．１风力发电风力发电是分布式电源中最常见且是应用最广泛最成熟的一种，它的发电功率易受气候与地理环境的影响。风电机组出力是一个与风速有关的随机变量，本文用风速模型和功率转换器来模拟实际的风电出力。风速模型采用四分量叠加法［１０］来模拟。四种风分量分别为基本风速ＶＷＢ、阵风Ｖｗｃ、渐变风ＶＷＲ和随机风ＶＷＮ。则最终风速模型可由式（１）表示，即＿帅＋Ｇ＋＋（１）（１）基本风速：反映了风电场平均风速的变化，可根据风电场所得实际数据采用极大似然法来确定Ｗｅｉｂｕｌ１分布函数Ｌ１，并由此计算基本风ＶＷＢ。（２）阵风：模拟三号突然变化的特性，如式（２）。ｒ０ｆ＜或ｆ＞＿ｒｓ＋１竿［１－ｃｏｓ２ｘ（）】＜ｆ＜＋‘【ｇ式中：Ｇ为阵风最大值；疋为阵风周期；为阵风开始时间。（３）渐变风：模拟风速的渐变情况。由式（３）计算得出。『０ｔ＜１或ｔ＞＋ＴｒＶＷＲ＝｛』—≤１）／（：ｒｒ２一１）１ｔＴｒ２，【＾＜ｔ＋Ｔｒ式中：ａＸ为渐变风最大值；１为渐变风开始时间；２为渐变风结束时间；Ｔｒ为保持时间。（４）随机风：模拟风速变化的随机特性，可采用随机白噪声来模拟。忽略影响风机出力的非线性因素以及整流逆变器损耗的情况下，特定风速下的风电机组输出功率Ｐｗｐ可用如式（４）分段函数表示［１１］。（＝０＜，＞ｃ０ｕｔ。ａ瓦Ｖ－Ｖｅｕｔｉｎ≤ａ（４）ｅｒａ，￣ｄＶｒａｔｅｄｕｔ。ｕｔ式中：和啪ｍ为风机运行的切入切出风速；。ｄ为额定风速；Ｐｒ砒。ｄ为风机额定输出功率。１．２光伏发电．作为另一种随机性强的分布式电源，光伏发电相对风电而言容量较小，多分布在楼宇的天台或遮光处，因此该类型电源往往难以进行电力调度。对于光伏发电输出功率的计算，文献［１２】提供了一种光伏发电站输出功率尸ｅｌ的计算公式为ｌ＝％７７１＝（５）‰式中：为光强系数；竹为组件转换效率温度修正‰系数；为组件安装方位角、倾角修正系数；为逆变器效率系数；为线损修正系数；尸Ａｚ为安装容量；叩为交流输出功率综合修正系数。对光电出力的模拟更多是在实测值基础上的统计与分析，文献［１３］介绍了不同季节光伏发电输出功率的变化。本文通过模拟文献［１３１中一天２４ｈ光照强度的变化建立了相应的光伏出力模型，其中光照强度对白天和晚上都有所体现，而功率转换器采用一阶传递函数表示［１，光伏发电出力见图１。重图１光伏发电功率输出图Ｆｉｇ．１Ｔｈｅｏｕｔｐｕｔｏｆｐｈｏｔｏｖｏｌｔａｉｃｇｅｎｅｒａｔｉｏｎ余涛，等基于Ｒ（学习的孤岛微电网智能发电控制—．９１．３飞轮储能随着越来越多强随机性分布式电源的接入以及用户对供电质量要求的不断增高，微网系统对储能装置的需求也大幅增加。飞轮作为一种新兴发展的储能装置，在未来将会有更广泛的使用。飞轮储能技术是利用高速旋转的飞轮将能量以动能的形式储存起来，当系统缺乏能量时，飞轮将减速运行，释放出存储的能量。飞轮经常不以独立的单元出现，而是与各种分布式电源进行优化组合运行［Ｈ］。文献『ｉｓ］详细研究了微网中飞轮储能及其调频系统的运行与建模，本文采用文献［１５１中飞轮ＬＦＣ模型。１．４小水电小型水电机组属于发电调节性能较好的一种分布式电源，其一次、二次调频响应速度快，对一定范围内的负荷波动可快速动作而达到微网的负荷一发电平衡状态，以减缓频率波动。但小水电机组调节范围及出力上下限受水位、洪水期满发、枯水期供水及下泻流量等因素的影响，其可调容量变化较大。对于容量配置需求相对较小的微网供电系统而言，小水电适合承担ＡＧＣ调频任务。关于水电机组ＬＦＣ模型的研究已较为成熟且应用广泛，本文采用文献［１６１中的小水电模型。１．５微型燃气轮机微型燃气轮机具有可靠性高、尺寸小、重量轻、燃料消耗率低、污染排放小、维护费用低和可多台集成扩容等优点，为微网发电及热电联供的发展提供了极好的平台。在孤岛运行时，微型燃气轮机对维持微电网的安全稳定运行将起到至关重要的作用【ｌ。从可调容量范围、快速响应特性、安全与经济性等方面而言，该类型机组可作为主调频ＡＧＣ机组。文献【１８］提供了典型微型燃气轮机及小型单循环涡轮机的ＬＦＣ模型。１．６微网ＬＦＣ模型综上所述，由以上五种发电模型组成的微网ＬＦＣ框架图及ＡＧＣ分层控制结构如图２所示。这是一个典型的微网结构，其中小水电和微型燃气轮机为ＡＧＣ二次调频机组，同时也与飞轮储能一起参与微网一次调频；从微网调度端的角度而言，风电和光伏发电可视为不可控或部分可控电源，因此本文将风电与光电作为随机负负荷来处理［１９］。微网中各分布式电源的可调容量及相关参数设置取自文献［１５，１９】。随着全世界范围内对智能电网研究热潮的兴起［２】，为适应风电和光伏等间歇式新能源接入后随机性日益变强的系统环境，微电网要求发电调度控“”“”制系统从传统自动控制向智能化控制的迅速转变，以实现微网的新一代小型智能发电控制（ＳｍａｒｔＧｅｎｅｒａｔｉｏｎＣｏｎｔｒｏ１），从二次频率控制的角度使得电网在动态随机环境下依然能保持良好的频率性能品质。由图２可知，在新型微网智能发电框架下，上层ＡＧＣ为一个集控调度端控制器，采用多步Ｒ（九）智能学习算法，通过对微网频率采样后，经基于平均报酬强化学习模型的策略评价机制优化计算出总ＡＧＣ调度指令。而对于下层ＡＧＣ则采用基于可调容量比例分配的ＰＲＯＰ方法［１１，即各ＡＧＣ机组的分配因子固定且与其可调容量成正比分配。因此，按照ＰＲＯＰ原则，小水电和微型燃气轮机的ＡＧＣ分配因子分别为Ｈ取０．５３，Ｕｎ取０．４７。图２微网ＬＦＣ模型及其智能发电控制Ｆｉｇ．２ＭｉｃｒｏｇｒｉｄＬＦＣａｒｃｈｉｔｅｃｔｕｒｅａｎｄｉｔｓＳＧＣｆｒａｍｅｗｏｒｋ２Ｒ（九）学习算法及其控制器设计２．１Ｒ００学习算法Ｒｆ学习算法［２ｏ］是基于折扣报酬模型的多步Ｑ（九）学习和ＴＤ（九）学习在平均强化学习模型中的推广，同时又是在单步Ｒ学习【６】基础上融入多步回溯信息。Ｒ（学习是在动作值函数Ｒ（，口）ｌＪ不断试错迭代过程中逼近最优策略的，（，口）表示在状态Ｓ下选择行为ａ，后续策略保持为的平均调整值，如式（６）。（）＝（）一Ｐ＋・（）’（，）（６）式中：口）为状态Ｓ下，执行动作ａ时获得的即时奖励值；ｓ和，分别为当前状态和下一时刻状态；Ｐｓ，（）为执行动作ａ后状态ｓ转移到ｓＩ的概率。Ｒ（学习的迭代过程包括动作值函数Ｒ，口）的迭代和平均性能指标Ｐ的迭代。首先定义平均报酬模型的即时差分误差为．１０．电力系统保护与控制’’”【＝ｒ（ｋ）＋ｍａ．ｘＲ（＋１，ａ）一ｍａ．．ｘＲ（，ａ）一Ｐ”’ｌ＝ｒ（ｋ）＋ｍａ．ｘＲ（＋１，口）一Ｒｓｋ，以）一Ｐ而动作值函数的迭代公式为，’’ｏｋ）＝Ｒｋ（，）＋（，）（８）式中：０＜ａ＜１，为动作值函数的学习率，其控制动作值的更新速度；对于Ｒ（学习参数的选取，文献『９，２１］中对其进行了详细的论述，本文中取值０．１；ｅｋ（ｓ，）为资格迹［６］，是对过去所访问状态与动作信息的一种临时记录，其更新公式为１＿ｊ一１（）＋１ａｋｅ（９）ｋ（ｓ，ａ１（，）其他式中，０＜２＜１，为迹衰退因子，代表控制器能回溯到过去多步信息的远近，本文取０．８。平均性能指标Ｐ的迭代更新公式为’Ｐ＝Ｐ＋触当Ｒｋ（，ａｋ）＝－－ｍａｘＲｋ（，ａ）（１０）式中，０＜１，为Ｐ的更新率，本文取０．００１。对于动作选择策略，本文采用一种基于概率分布动作选择的追踪法【６］。初始阶段，各动作被选择的概率相同，随着动作值函数与平均性能指标的不断迭代，最终将以概率１收敛于值函数Ｒ代表的偏差最优策略。其动作策略的更新公式为ｌ＋１（，ａｇ）＝Ｈｋ（，）＋ｒ／（１一Ｈ（，））≠｛＋１（，口）＝Ｈｋ（，口）（１－ｒ／）Ｖａａｇ（１１）Ｉ＋１（，ａ）＝Ｈｋ（，ａ）∈≠ＶＹＳ，式中：为贪婪动作｝２ｏＪ；，ａ）为当前状态Ｓ下，第ｋ次迭代时动作ａ被选择的概率；０＜，７＜１，叩的大小影响到概率迭代速度和Ｒｆ学习算法的探索程度，本文取为０．１。２．２基于Ｒ（学习算法的ＡＧＣ控制器设计基于Ｒ（学习算法设计ＡＧＣ控制器需具体分析微网系统特性，以合理确定状态空间离散集和控制动作集。如果离散化程度太细，会使状态．动作对维数过高，控制器将面临ＡＧＣ实时优化的“”维数灾问题，反之，减少状态动作维数和离散化类别又不利于改善频率品质，因此合理安排状态与动作空间的离散化十分关键［８１。本文所提ＡＧＣ控制器输出动作集即一组离散△∑的ＡＧＣ总调节指令尸ＡＧｃ＿＇通过分析微网各能源可调容量和机组特性以及启发式仿真测试，可设置动作集为｛一１，一０．５，一０．１一０．０５，－０．０１，－０．００１，０，０．００１，０．０１，０．０５，０．１，０．５，１｝ＭＷ。微网ＡＧＣ调频的状态输入即系统频率偏差Ａｆ，因此将其作为状态离散划分的依据。我国规定，正常运行时（非故障情况下）电力系统频率应当保持在５０￣：０．２Ｈｚ范围之内，当采用现代自动装置时，频率偏差应不超过０．０５～０．１５Ｈｚ［Ｊ。根据以上电力安全工作规程原则，并考虑一定调节死区，可设置状态空间离散集∞为（一，一０．２），［一０．２，一０．１５），［一０．１５，一ｏ．ｏ５），【－－０．０５，∞０．０５］，（０．０５，０．１５］，（０．１５，０．２］，（０．２，＋）。根据以上微网频率考核标准制定奖励函数ｒ（妨为（）＝０ＩＡｆＩ０．０５一ＩＡｆ１０．０５＜ｌａｓｌ－＜０．１５（１２）一Ｉ１０．１５＜１ａｆｌ０．２一，ＩＩＩ＞０．２其中：当频率偏差位于调节死区『＿．０．０５，Ｏ．ｏ５１时，该区域内频率满足正常运行的最小误差要求，此时赋△予Ｒ（控制器最大奖励值为０；当１，『分别介于ＡＧＣ正常控制区（０．０５，０．１５），辅助控制区（０．１５，０．２），紧∞急控制区ｆ０．２，＋）时，控制器将会获得相应的负奖励即惩罚值；、２和为各控制区域奖励函数对应的权值，本文分别取１、５和１０。最后，ＲＯ０控制器学习步长即微网调度端ＡＧＣ的控制周期，本文取２Ｓ。在确定奖励函数、输入状态对和控制动作集后，便可给出基于Ｒｆ学习的ＡＧＣ控制算法流程完整描述如图３所示。图３基于Ｒ（学习的ＡＧＣ流程图Ｆｉｇ．３ＴｈｅｆｌｏｗｃｈａｒｔｏｆＲ（ｂａｓｅｄＡＧＣｃｏｎｔｒｏｌｌｅｒ３仿真研究本文微网ＬＦＣ模型及其控制器采用Ｓｉｍｕｌｉｎｋ仿真平台搭建，ＡＧＣ算法及控制器由Ｓ－ｆｕｎｃｔｉｏｎ模块编写。Ｒ（控制器的应用需要经过一段随机探索和强化的试错学习过程，称为预学习过程【。该过余涛，等基于Ｒ（九）学习的孤岛微电网智能发电控制．１１．程初期阶段控制器未获得任何经验而须遍历所有状态动作对来完善最优值函数表格。该预学习过程的实现通常为一个以高精度仿真器为基础的离线训练过程［８】＇且不同强化学习算法的预学习过程及时间会有所不同，因此需设置各种不同幅值、不同类型的负荷扰动函数对控制器预学习过程进行反复训练，如方波、正弦波以及白噪声扰动等。图４给出了基于图２微网ＬＦＣ仿真模型以及连续正弦负荷扰△动ＰＬ。ａｄ下，Ｒ（九）控制器的典型预学习过程，且在收敛后（第３８８４Ｓ）突然加大扰动幅值为原来的两倍，以检验控制器在不同负荷扰动下的自学习与自适应特性。图４中的预学习试验显示了Ｒ（九）学习的快速收敛特性；特别是当负荷幅值发生变化后，其在线动△态学习特性仍可使控制器输出ＰＡＧ很好的跟踪扰动变化。需要说明的是，图４ｆｂ）中频率偏差的小幅波动是由风电和光伏功率输出的不断随机变化引起的。在Ｒ（九）控制器经历一系列离线预学习过程后，动作值函数已逼近最优值，迭代终止判别条件为２一范数ｌｌ｝｝ｌ（，）一，）『ｌ２＜，＜为给定的精度因子［９】，此时保存当前矩阵、概率Ｐ矩阵及资格迹ｅ等参数，则可将Ｒ（控制器投入实际系统参与优化控制。０．１Ｏ．０－０．１—０．２Ｙｓ（ａ）ＡＧＣ总调节指令输出波形ＬＩ』．＂＼０．００４ｒｌｆ。．…００ｙｙⅥＩｙ－一—————————————Ｏ００２ＬＪ２０００２０５０２ｌ０Ｏ０１０Ｏ０２０００３０００４Ｏ００５０００６０Ｏ０ｔ／ｓ（ｂ）频率偏差波形图４Ｒ（控制器的典型预学习过程—Ｆｉｇ．４ＰｒｅｌｅａｒｎｉｎｇｐｒｏｃｅｓｓｏｆＲ（ｌｅａｒｎｉｎｇ本文引入阶跃负荷扰动对Ｒｆ九）控制器的短期动态性能进行仿真测试，且分别与整定良好的ＰＩ控制器［］和Ｑ（九）控制器［］进行对比分析，结果如图５所示。其中，各强化学习控制器的状态．动作对空间以及奖励函数都保持一致，如２．２节所述。由图５可知，从ＡＧＣ指令、频率波动与机组功率输出方面而言，Ｒ（九）学习算法较之Ｑ㈨学习和ＰＩ控制具有更优的动态特性。现代智能发电控制越来越注重ＡＧＣ系统的中长期控制性能，国际上普遍采用一种基于平均值与统计性指标的ＣＰＳ标准来考核大型互联区域电网调度端的ＡＧＣ性能［１］。因而，对于孤岛运行下微网ＡＧＣ而言，频率的长期统计性指标也应作为一种重要的考核手段。为验证所提Ｒｆ九）控制器在复杂负荷扰动和系统模型结构参数变化下的适应性与动态优化能力，本文采用数据统计性对照试验来考核复杂动态环境下各ＡＧＣ控制器性能，所用对比算法包括ＰＩ控制器［５］、Ｑ学习控制器［】和Ｏ（九）控制器［引。仿真设计如下。垂ｌ￡ｆｓ（ｂ）频率偏差对比图ｔ／ｓ（ｃ）小水电出力对比图（ｄ）微型燃气轮机出力对比图………一负荷扰动ＰＩ控制器……一Ｑ（）控制器——Ｒ（）控制器图５ＡＧＣ控制器对比仿真试验Ｆｉｇ．５ＳｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｏｆＡＧＣｃｏｎｔｒｏｌｌｅｒｓ（１）试验一：标称参数下，负荷模型采用有限带宽白噪声随机扰动［引，其采样周期为１０ｍｉｎ，最大幅值不超过２ＭＷ。（２）试验二：在试验一基础上，对微网自然频率响应系数加入不超过１０％的白噪声参数摄动；并囊Ｈｏ毛．１２．电力系统保护与控制且，在１０ｈ处风电突然因故障退出运行。选择一天２４ｈ为考核时段，频率偏差考核合格率阀限值为士０．２Ｈｚ。统计性对照试验结果如表１和表２所示，其中，各指标以频率偏差的绝对值Ｉ为考核对象。由表１和表２综合分析可得，与传统ＰＩ控制相比，具备在线学习和自适应特性的一类强化学习算法更能有效应对强随机性的微网ＬＦＣ问题，特别是当施加白噪声参数摄动后，各指标上均明显超过ＰＩ控制器。另一方面，基于折扣报酬模型的Ｑ学习和Ｑ（九）学习算法注重当前决策信息对系统的影响，而基于平均报酬模型的Ｒ（学习更强调控制器的长期统计平均值收益，且其多步信息更新策略同时也能提高在线学习效率，因此更适合用于微网的智能发电控制。表１统计性仿真对照试验一Ｔａｂｌｅ１Ｄａｔａｓｔａｔｉｓｔｉｃａｌｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔ１表２统计性仿真对照试验二Ｔａｂｌｅ２Ｄａｔａｓｔａｔｉｓｔｉｃａｌｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔ２４结论国内外积极建设智能电网的大背景下，针对微网的自学习与自演化发电控制策略值得深入审思与研究。本文首先搭建了一个含多分布式电源的微网ＬＦＣ模型，随后提出了一种孤岛微网的分层ＡＧＣ控制结构，并首次引入多步Ｒ（）学习和ＰＲＯＰ方法对各层ＡＧＣ子问题进行研究。仿真对比分析可得，所推荐ＡＧＣ控制器有以下特点：（１）微电网的发电．负荷动态平衡过程为一个典型的随机优化决策问题，在集控端引入分层ＡＧＣ调度可有效实现微网新能源的智能发电控制及各调频机组间的协调。（２）微网ＡＧＣ中引入基于随机最优控制的多步Ｒ（九）学习具有很高的可行性，该方法收敛速度快且预学习训练时间较短，此外，短期仿真对比试验也验证了Ｒ（九）控制器具备更优的动态特性。（３）作为一种基于平均报酬模型的智能强化学习算法，Ｒ（学习在复杂扰动环境下具备很强的在线适应性与动态优化能力，且更注重ＡＧＣ的长期统计性收益，另一方面，应用Ｒ（学习算法有利于推动未来智能电网决策支持系统的构建。在研究中笔者也发现：１）现代风能发电技术日趋成熟，一类变速恒频风电机组ｏＪ可考虑参与系统一次调频控制策略；２）随着微网新能源的发展，参与二次调频的分布式机组逐渐增多，而总调节指令在各机组间的动态分配优化问题也是决定整个ＡＧＣ控制品质的关键因素；３）负荷模型作为微网的重要组成部分，其中，敏感负荷、可调节负荷以及可中断负荷的建模及相应的ＬＦＣ控制策略值得进一步探讨；后续工作将着力对上述方向进行深入分析研究。参考文献［１］雷霞，马一凯，贺建明，等．ＣＰＳ标准下的ＡＧＣ控制策略改进研究［Ｊ】．电力系统保护与控制，２０１１，３９（１１）：—７９８９．ＬＥＩＸｉａ，ＭＡＹｉ－ｋａｉ，ＨＥＪｉａｎ・ｍｉｎｇ，ｅｔａ１．ＲｅｓｅａｒｃｈｏｎｉｍｐｒｏｖｅｄＡＧＣｃｏｎｔｒｏｌｓｔｒａｔｅｇｙｂａｓｅｄｏｎＣＰＳｓｔａｎｄａｒｄ［Ｊ］．ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２０１１，３９（１１）：７９．８９．［２］ＭｏｌｄｅｒｉｎｋＡ，ＢａｋｋｅｒＢｏｓｍａｎＭＧＣ，ｅｔａ１．Ｍａｎａｇｅｍｅｎｔａｎｄｃｏｎｔ’ｒｏｌｏｆｄｏｍｅｓｔｉｃｓｍａｒｔｇｒｉｄｔｅｃｈｎｏｌｏｇｙ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＳｍａｒｔＧｒｉｄ，２０１０，１（２）：１０９一ｌ１９．［３］郭天勇，赵庚申，赵耀，等．基于风光互补的微网系统建模与仿真［Ｊ】．电力系统保护与控制，２０１０，３８（２１）：１０４．１０８．ＧＵＯＴｉａ—ｎ－ｙｏｎｇ，ＺＨＡＯＧｅｎｇｓｈｅｎ，ＺＨＡＯＹａｏ，ｅｔａ１．Ｍｏｄｅｌｉｎｇａｎｄｓｉｍｕｌａｔｉｏｎｏｆｍｉｃｒｏｇｒｉｄｓｙｓｔｅｍｂａｓｅｄｏｎ—ｗｉｎｄｓｏｌａｒｈｙｂｒｉｄ［Ｊ］．ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄ—Ｃｏｎｔｒｏｌ，２０１０，３８（２１）：１０４１０８．［４］ＬｏｐｅｓＪＡＭｏｒｅｉｒａＣＬ，ＭａｄｕｒｅｉｒａＡＧＤｅｆｉｎｉｎｇｃｏｎｔｒｏｌｓｔｒａｔｅｇｉｅｓｆｏｒｍｉｃｒｏｇｒｉｄｓｉｓｌａｎｄｅｄｏｐｅｒａｔｉｏｎ［Ｊ］．—ＩＥＥＥＴｒａｎｓｏｎＰｏｗｅｒＳｙｓｔｅｍｓ，２００６，２ｌ（２）：９１６９２４．［５］杨向真，苏建徽，丁明，等．微电网孤岛运行时的策略［Ｊ】．电网技术，２０１０，３４（１）：１６４－１６８．—ＹＡＮＧＸｉａｎｇ－ｚｈｅｎ，ＳＵＪｉａｎｈｕｉ，ＤＩＮＧＭｉｎｇ，ｅｔａ１．Ｒｅｓｅａｒｃｈｏｎｆｒｅｑｕｅｎｃｙｃｏｎｔｒｏｌｆｏｒｍｉｃｒｏｇｒｉｄｉｎｉｓｌａｎｄｅｄｏｐｅｒａｔｉｏｎ［Ｊ］．ＰｏｗｅｒＳｙｓｔｅｍＴｅｃｈｎｏｌｏｇｙ，２０１０，３４（１）：１６４．１６８．［６］余涛，周斌，甄卫国．强化学习理论在电力系统中的应用及展望［Ｊ］．电力系统保护与控制，２００９，３４（１７）：１２２．１２８．余涛，等基于Ｒ（学习的孤岛微电网智能发电控制一１３．—ＹＵＴａｏ，ＺＨＯＵＢｉｎ，ＺＨＥＮＷｅｔｇｕｏ．Ａｐｐｌｉｃａｔｉｏｎａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｆｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｔｈｅｏ￣ｉｎｐｏｗｅｒｓｙｓｔｅｍｓ［Ｊ］．ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２００９，３４（１７）：１２２－１２８．［７］余涛，周斌．基于强化学习的互联电网ＣＰＳ自校正控制［Ｊ］．电力系统保护与控制，２００９，３７（１０）：３３．３８．ＹＵＴａｏ．ＺＨＯＵＢｉｎ．ＲｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｂａｓｅｄＣＰＳｓｅｌｆ－ｔｕｎｉｎｇｃｏｎｔｒｏｌｍｅｔｈｏｄｏｌｏｇｙｆｏｒｉｎｔｅｒｃｏｎｎｅｃｔｅｄｐｏｗｅｒｓｙｓｔｅｍｓ［Ｊ］．ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄＣｏｎｔｒｏｌ，—２００９，３７（１０）：３３３８．【８］ＺｈｏｕＢ，ＣｈａｎＫＷｅｔａ１．ＳｔｏｃｈａｓｔｉｃｏｐｔｉｍａｌｒｅｌａｘｅｄａｕｔｏｍａｔｉｃｇｅｎｅｒａｔｉｏｎｃｏｎｔｒｏｌｉｎＮｏｎ．Ｍａｒｋｏｖｅｎｖｉｒｏｎｍｅｎｔｂａｓｅｄｏｎｍｕｌｔｉ－ｓｔｅｐＱ（ｌｅａｒｎｉｎｇ［Ｊ］．ＩＥＥＥ—ＴｒａｎｓｏｎＰｏｗｅｒＳｙｓｔｅｍｓ，２０１１，２６（３）：１２７２１２８２．［９］余涛，袁野．基于平均报酬模型全过程Ｒ（）学习的互联电网ＣＰＳ最优控制［Ｊ］．电力系统自动化，２０１０，—３４（２１１：２７３３．ＹＵＴａｏ．ＹＵＡＮＹｅ．ＡｎａｖｅｒａｇｅｒｅｗａｒｄｍｏｄｅｌｂａｓｅｄｗｈｏｌｅｐｒｏｃｅｓｓＲ（一ｌｅａｒｎｉｎｇｆｏｒｏｐｔｉｍａｌＣＰＳｃｏｎｔｒｏｌ［Ｊ］．ＡｕｔｏｍａｔｉｏｎｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒＳｙｓｔｅｍｓ，２０１０，３４（２１）：２７．３３．１１０］ＬｕｂｏｓｎｙＺ．Ｗｉｎｄｔｕｒｂｉｎｅｏｐｅｒａｔｉｏｎｉｎｅｌｅｃｔｒｉｃｐｏｗｅｒｓｙｓｔｅｍｓ［Ｍ］．ＮｅｗＹｏｒｋ：Ｓｐｒｉｎｇｅｒ，２００３．［１１］ＬａｒｓｓｏｎＡ．Ｆｌｉｃｋｅｒｅｍｉｓｓｉｏｎｏｆｗｉｎｄｔｕｒｂｉｎｅｃａｕｓｅｄｂｙｓｗｉｔｃｈｉｎｇｏｐｅｒａｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＥｎｅｒｇｙＣｏｎｖｅｒｓｉｏｎ，２００２，１７（１）：１１９－１２３．［１２］龚春景．大容量太阳能光伏发电站交流输出功率计算方法研究【Ｊ】．华东电力，２００９，３７（８）：１３０９．１３１１．ＧＯＮＧＣｈｕｎ－ｊｉｎｇ．ＲｅｓｅａｒｃｈｏｎｔｈｅｃａｌｃｕｌａｔｉｏｎｍｅｔｈｏｄｏｆｌａｒｇｅｃａｐａｃｉｔｙｓｏｌａｒｅｎｅｒｇｙＰＶｐｏｗｅｒｇｅｎｅｒａｔｉｏｎｓｔａｔｉｏｎｗｉｔｈＡＣｏｕｔｐｕｔ［Ｊ］．ＥａｓｔＣｈｉｎａＥｌｅｃｔｒｉｃＰｏｗｅｒ，２００９，３７（８）：１３０９－１３１１．—１１３］ＳａｉｔｏＮ，ＮｉｉｍｕｒａＴｊＫｏｙａｎａｇｉＫ，ｅｔａ１．ＴｒａｄｅｏｆｆａｎａｌｙｓｉｓｏｆａｕｔｏｎｏｍｏｕｓｍｉｃｒｏｇｒｉｄｓｉｚｉｎｇｗｉｔｈＰＶ，ｄｉｅｓｅｌ，ａｎｄｂａｔｔｅｒｙｓｔｏｒａｇｅ［Ｃ】／／ＩＥＥＥＰｏｗｅｒ＆ＥｎｅｒｇｙＳｏｃｉｅｔｙＧｅｎｅｒａｌＭｅｅｔｉｎｇ，２００９：１－６．［１４］黄宇淇，方宾义，孙锦枫．飞轮储能系统应用于微网的仿真研究【ＪＪ．电力系统保护与控制，２０１１，３９（９）：８３一ｌ１３．———ＨＵＡＮＧＹｕｑｉ，ＦＡＮＧＢｉｎｙｉ，ＳＵＮＪｉｎｆｅｎｇ．ＳｉｍｕｌａｔｉｏｎｒｅｓｅａｒｃｈｏｎｔｈｅｍｉｃｒｏｇｒｉｄｗｉｔｈｆｌｙｗｈｅｅｌｅｎｅｒｇｙｓｔｏｒａｇｅｓｙｓｔｅｍｌＪ｝．ＰｏｗｅｒＳｙｓｔｅｍＰｒｏｔｅｃｔｉｏｎａｎｄＣｏｎｔｒｏｌ，２０１１，３９（９）：８３一ｌ１３．［１５］ＡｗａｄＢ，ＥｋａｎａｙａｋｅＪＢ，ＪｅｎｋｉｎｓＮ．ＩｎｔｅｌｌｉｇｅｎｔｌｏａｄｃｏｎｔｒｏｌｆｏｒｆｒｅｑｕｅｎｃｙｒｅｇｕｌａｔｉｏｎｉｎｍｉｃｒｏＧｒｉｄｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＩｎｔｅｌｌｉｇｅｎｔＡｕｔｏｍａｔｉｏｎ＆ＳｏｆｔＣｏｍｐｕｔａｔｉｏｎｒＳｐｅｃｉａｌｉｓｓｕｅｏｎＭｉｃｒｏＧｒｉｄｓ），２００８：１－２３：［１６］ＫｕｎｄｕｒＰ．Ｐｏｗｅｒｓｙｓｔｅｍｓｔａｂｉｌｉｔｙａｎｄｃｏｎｔｒｏｌ［Ｍ］．ＮｅｗＹｏｒｋ：ＭｃＧｒａｗ－Ｈｉｌｌ，１９９４．［１７］翁一武，苏明，翁史烈．先进微型燃气轮机的特点与应用前景［Ｊ】．热能动力工程，２００３，１８（３）：ｌ１Ｉ．１ｌ６．——ＷＥＮＧＹｉｗｕ，ＳＵＭｉｎｇ，ＷＥＮＧＳｈｉｌｉｅ．Ｓｐｅｃｉｆｉｃｆｅａｔｕｒｅｓｏｆａｄｖａｎｃｅｄｍｉｃｒｏｇａｓｔｕｒｂｉｎｅｓａｎｄｔｈｅｉｒａｐｐｌｉｃａｔｉｏｎｐｒｏｓｐｅｃｔｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＥｎｇｉｎｅｅｒｉｎｇｆｏｒＴｈｅｒｍａｌＥｎｅｒｇｙａｎｄＰｏｗｅｒ，２００３，１８（３）：１１１－ｌｌ６．１１８］ＳａｈａＡＫ，ＣｈｏｗｄｈｕｒｙＳ，ＣｈｏｗｄｈｕｒｙＳｅｔａ１．Ｍｏｄｅｌｌｉｎｇａｎｄｓｉｍｕｌａｔｉｏｎｏｆｍｉｃｒｏｔｕｒｂｉｎｅｉｎｉｓｌａｎｄｅｄａｎｄ—ｇｒｉｄｃｏｎｎｅｃｔｅｄｍｏｄｅａｓｄｉｓｔｒｉｂｕｔｅｄｅｎｅｒｇｙｒｅｓｏｕｒｃｅ［Ｃ】／／ＩＥＥＥＰｏｗｅｒ＆ＥｎｅｒｇｙＳｏｃｉｅｔｙＧｅｎｅｒａｌＭｅｅｔｉｎｇ．２００８：１．７．［１９］ＬｉＸＪ，ＳｏｎｇＹＪ，ＨａｎＳＢ．Ｆｒｅｑｕｅｎｃｙｃｏｎｔｒｏｌｉｎ—ｍｉｃｒｏｇｒｉｄｐｏｗｅｒｓｙｓｔｅｍｃｏｍｂｉｎｅｄｗｉｔｈｅｌｅｃｔｒｏｌｙｚｅｒｓｙｓｔｅｍａｎｄｆｕｚｚｙＰＩｃｏｎｔｒｏｌｌｅｒ［Ｊ］．ＪｏｕｒｎａｌｏｆＰｏｗｅｒ—Ｓｏｕｒｃｅｓ，２００８，１８００）：４６８４７５．——［２０］ＨｕＧＨＷｕＣＥＩｎｃｒｅｍｅｎｔａｌｍｕｌｔｉｓｔｅｐＲｌｅａｒｎｉｎｇ［Ｊ］．ＪｏｕｒｎａｌｏｆＢｅｉｊｉｎｇＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，１９９９，８（３）：—２４５２５０．［２１］ＳｒｉｄｈａｒＭａｈａｄｅｖａｎ．Ａｖｅｒａｇｅｒｅｗａｒｄｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ：ｆｏｕｎｄａｔｉｏｎｓ，ａｌｇｏｒｉｔｈｍｓ，ａｎｄｅｍｐｉｒｉｃａｌｒｅｓｕｌｔｓ—［Ｊ】＿ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，１９９６，２２（１３）：１５９－１９５．—收稿日期：２０１１－０７２５；—修回日期：２０１卜０９０９作者简介：余涛（１９７４－），男，教授，博士生导师，主要研究方向为复杂电力系统的非线性控制理论和仿真研究；Ｅ．ｍａｉｌ：ｔａｏｙｕｌ＠ｓｃｕｔ．ｅｄｕ．ｅｎ梁海华（１９８５－），男，硕士研究生，主要研究方向为电力系统运行与控制：周斌（１９８４－），男，博士研究生，主要研究方向为电力系统优化控制方法。