基于贝叶斯证据框架下WLS-SVM的短期负荷预测.pdf

  • 文档大小:391.54 KB
  • 文档格式:pdf
  • 约 6页
  • 2021-06-24 发布
  • 举报
基于贝叶斯证据框架下WLS-SVM的短期负荷预测1 基于贝叶斯证据框架下WLS-SVM的短期负荷预测2 基于贝叶斯证据框架下WLS-SVM的短期负荷预测3 基于贝叶斯证据框架下WLS-SVM的短期负荷预测4 基于贝叶斯证据框架下WLS-SVM的短期负荷预测5 基于贝叶斯证据框架下WLS-SVM的短期负荷预测6
已阅读完毕,您还可以下载文档进行保存
文档单价:6.00 会员免费
开通会员可免费下载任意文档
  1. 1、本文档共6页,内容下载后可编辑。
  2. 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领。
  3. 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
第39卷第7期2011年4月1日电力系统保护与控制PowerSystemProtectionandControlVb1.39NO.7Apr.1,2011基于贝叶斯证据框架下WLS-SVM的短期负荷预测王林川,白波,于奉振,袁明哲(1.东北电力大学电气Z-程学院,吉林吉林132012;2.成都市电业局,四川成都610021)—摘要:提出了一种基于贝叶斯证据框架下加权最小二乘支持向量机(weightedLeastSquaresSupportVectorMachine,WLSSVM)的短期负荷预测模型和算法。在对历史负荷数据进行完预处理基础上,分析影响负荷变化的重要因素,然后选择最佳的输入数据作为LS-SVM训练模型的输入向量。通过贝叶斯证据三层推断寻找到模型的最佳参数:第一层推断确定LS-SVM的权向量W和偏置值b,第二层推断确定模型的超参数,第三层推断确定核函数的超参数。为了提高模型的鲁棒性,赋予—了每个样本误差不同的权系数,建立了具有良好泛化性能的WLSSVM回归模型,从而进一步提高了模型预测的精度。采用上述方法对黑龙江电网短期负荷进行了预测,结果证明了该方法具有良好的预测效果。关键词:贝叶斯证据框架;最小二乘支持向量机;短期负荷预测;历史数据;鲁棒性—ShorttermloadforecastingbasedonweightedleastsquaressupportvectormachinewithintheBayesianevidenceframeworkWANGLin.chuan,BAIbo,YUFeng.zhen,YUANMing.zhe(1.SchoolofElectricalEngineering,NortheastDianliUniversity,Jilin132012,China;2.ChengduElectricPowerBureau,Chengdu610021,China)Abstract:Ashort-termloadforecastingmodelandalgorithmbasedontheweightedleastsquaressupportvectormachinewithinthebayesianevidenceframeworkisproposed.Onthebasisofpre-processingofhistoricaldata,theauthoranalyzestheimportantfactorsofaffectingtheloadchange,andthenselectsthebestinputdataastheinputvectorofLS-SVMtrainingmode1.Theoptimalparametersofmodelscanbefoundthroughthree-・layerbayesianevidenceinference:TheweightvectorWandbiasvaluebofLS・-SVMcanbedeterminedinthefirstlayer,andthehyper-parameterofthemodelCanbeinferredinthesecondlayer,thehyper-parameterofthenuclearfunctionfmallycallbedeterminedinthethirdlayer.Toimprovetherobustnessofthemode1.WLS-SVMregressionmodelwithgoodgeneralizationperformanceisestablishedbygivingadifferentweightcoefficienttoeachsampleerror,whichfurther—improvesthepredictionaccuracyofthemode1.ApplyingtheproposedmethodtoshorttermloadofHeilongjiangpowersystem,resultsshowtheeffectivenessofthemethod.Keywords-bayesianevidenceframework;leastsquaressupportvectormachine(LS-SVM);short-termloadforecasting;historicaldata;robustness中图分类号:TM715文献标识码:A文章编号:1674-3415(2011)07.0044-060引言随着电力系统运行的市场化,负荷预测变得越来越重要。而短期负荷预测是负荷预测的重要组成部分,它对于机组最优组合、燃料供应计划、经济调度、最优潮流、电力市场交易等都有着重要的意义。因此,负荷预测精度越高,越有利于提高发电设备的利用率和经济调度的有效性。由于负荷的随机因素太多,非线性极强LlJ,而有些传统方法理论依据尚存在局限性等问题,因此,新理论和新技术的发展一直推动着短期负荷预测的不断发展J。Vapnik等在统计学习理论(StatisticalLearningTheory,SLT)基础上发展了一种新型学习方法.支持向量机(SupportVectorMachines,SVM)。它有较好的学习泛化性能和精度,因此减小了对经验的依赖。SuykensI】等设计的最小二乘支持向量机(LeastSquaresSupportVectorMachines,LS.SVM)把SVM中的不等式约束转换成等式约束,使得支持向量机的求解由二次规划问题转化为一个线性方程组的求解问题,极大地提高了求解效率,同时降低了求解难度。虽然SVM或LS.SVM在电力系统短期负荷预王林川,等基于贝叶斯证据框架下WLS.SVM的短期负荷预测.45.测领域得到了广泛应用,并且取得了较为明显的效果【5】。然而SVM本身就有着参数选择问题存在,如何确定一组使学习机具有良好学习能力的参数,到目前为止仍未得到解决。通常采用的交叉验证方式在网格中搜索选定【l刚,但这较难得到最佳超参数。贝叶斯证据框架是由Macky[11]提出的,KowkLl_2J则对贝叶斯证据框架下标准支持向量机分类问题研究。本文主要研究贝叶斯证据框架下加权最小二乘支持向量机模型参数选择和调整方法及其在电力系—统短期负荷预测中的应用。另外针对LSSVM损失了标准SVM的鲁棒性问题,文章采用赋予每个样本误差不同的权系数的方法,建立了具有良好泛化—性能的加权最小二乘支持向量机(WLSSVM)回归模型[131,从而进一步提高了模型预测的精度。采用上述方法对实际电网短期负荷进行了预测,结果证明了该方法的有效性。1加权最小二乘支持向量机模型1.1LS-SVM预测模型Ⅳ假设给定一个具有个数据的训练集合…Ⅳ∈{X,Yk)N,k=1,2,,。其中XR为刀维输∈入数据,yR为输出数据。于是,在原始权空间中可以将预测模型考虑为以下的最优问题:1wTv ̄+(1)s.t.Y=…Ⅳ()+b+ek,k=1,2,,∈∈式中:R为原始权空间的权值向量;ekR为误差变量;(.):R---)R是将输入空间数据映射到高维(可能是无限维)特征空间的非线性映射∈函数;6R为偏置值;7>0为正则化参数(也叫惩罚系数)。于是,在原始权空间中有如下非线性模型:‘y(x)=Wfo(x)十b(2)∈针对式(1)引入Lagrange乘子R,定义如式(3)的Lagrange函数:∑L(w,b,e;c0=(,e)-{T()+k=l—b七ekyk(3)通过对式(3)的各变量求偏导整理并消去,e,最优问题就转化为线性方程组(4)。l01TlFblI-oll+专ILJlJ4…Ⅳ…式中:Y=[YlY,,Y];1=[1,1,,1r.=…∈f,,,];RaNⅣR×Ⅳ为核矩阵,…∈…”【,,,J;为核矩阵,…,=((p(xj)=(,『),,J=1,2,,N,这里K(-,-为满足Mercer定理的一个核函数。常用的核函数有:线性核函数K(x,Xj)=XiXj;多项…式核函数(一,Xj)=(,+1),d=1,2,;径向基(RBF)核函数(高斯核函数)K(xi,f)=exp(一一川/20-)等。文中采用的是RBF核函数。解式(4)得伉和b,从而可得—LSSVM的非线性预测模型为:y(x)=akK(x,Xk+b)(5)1.2具有鲁棒性的加权LS-SVMLS.SVM在改进了标准SVM模型的同时,自身却损失了其鲁棒性。这使得目标函数中所有训练数据的权重都是7,也就是所有的样本在训练中所起的作用相同,这明显不符合实际。因为样本数据所处的位置不同,或是被噪声污染的程度不同,其重要程度也不尽相同。为了区别对待不同的训练数据而重新获得鲁棒性,Suykens提出了加权——LSSVM:在LSSVM模型的基础上,对每一个误差量ek=otk/7赋予不同的权因子,式(1)的优化问题就转化为:m.inJ()T+lV(6)…s.t.Yk=q()+b+ek,k:1,2,,N此时的Lagrange函数变为:三(,,e;or)=N(7)∑(,P)一{()+6+ek-y)同理,根据KKT条件,可以得到线性方程组[㈦式中:为对角阵,=1…,击}...46..电力系统保护与控制—权值是由式(4)(LSSVM)中误差变量ek=/来确定。:{iffek/fC1ifcll/lc2(9)10-4otherwise式中:是误差量的标准差的鲁棒估计值,—j=:IQR是误差ek的四分位间距,即将2×0.6745。按值大小顺序排列的时候,第[0.75n]个值与第[0.25n]个值之差。掌衡量了偏离高斯分布的程度。常数C和C,一般取值为C=2.5,c,=3I14J。加权LS.SVM算法具体步骤如下:…Ⅳ1)给定训练数据集{,)N,k:1,2,,找出最优参数(通过下文的贝叶斯证据推断)。针对最优参数由式(4)计算ek=/。2)根据误差的分布情况计算它鲁棒估计值。3)根据式(9),由,j确定对应的权值v。4)根据式(8)解出和b,给出最终非线性预测模型∑y(x)=K(x,)+bk=i—按式(4)解出的LSSVM模型是在误差e服Ⅵ从高斯分布的假设下的最优解,而WLS.S则通过式(9)定义的权值纠正了e在非高斯分布情况下所导致的偏差,使得WLS.SVM回归具有鲁棒性。2基于贝叶斯证据推断的参数优化通过LS.SVM模型训练过程式(1)~(5)可以看出,整个模型只有两个参数需要确定惩罚参数‘y和RBF核超参数,_。传统方法一般是采用交叉验证法,但该方法由于原理上的原因,使得参数优化起来比较困难且极耗费时间。文中采用贝叶斯证据框架理论来推断参数。贝叶斯推断的基本思想是利用最大化参数分布的后验概率来获得最优参数值。整个推断过程分为三层[。。J:第一层可推断参数和b,第二层可推断模型的正则化参数,第三层可推断核参数()l。每一层推断的形式为:后验概率:×先验概率证据其中三层推断并不是孤立的,下一层的似然度即为上一层的证据。2.1第一层推断设D为训练数据集,表示带有参数和b的模型。假设训练数据是独立同分布的。为了便于从统计学角度来解释这些参数的贝叶斯推断,现在式(1)中用两个可调参数,(称作超参数)代替单一的正则化参数,它们的关系为=/。于是式(1)就变为:min,J()哇wTw+l白Jv2(1o)’…s.t.Y=.,()+b+ek,k=1,2,,N于是,在第一层就有:p(w,bID,,,日)=—p(D1w,b,lz,ff,H)p(,bl日)(11)…p(DI,,H)一式中:证据P(DI,,)在这里是一个常数;先验p(w,bl,,H)对应于式(10)中的正则化项;而似然度p(Dl,b,,,H)对应于式(10)中的’误差变量平方和项。对于先验,假设.,,b在统计上是独立的,即p(w,bl,,14)=p(wl,,H)p(wl,,I-I)=p(wl,H)p(bI,H)设先验p(w,bI,,H)满足高斯概率分布,则p(w,bI,f,H)=㈡fl-H--']"h/2expc一唧c一圭oc㈡唧c一(12)设训练数据是独立同分布的,则p(D1’w,b,,日)c,c1-IP(Yklxk,.,,b,,日)=尊e(13)将式(12)和式(13)代入式(11),得’6I,)唧∑f,.,T一N1’从上式可以看出,求.,,b的最大化后验的负对—数,即是求式(10)的最优化问题。也就是说LSSVM模型的训练可以用贝叶斯证据理论进行解释。王林川,等—基于贝叶斯证据框架下WLSSVM的短期负荷预测-47-2.2第二层推断在第二层推断中应用贝叶斯规则,可以获得最优参数=/。设p(1z,1日)是平滑先验分布,则p(,l。,)=p(,1)ocp(Dl,,日)oc‘Ip(Dl,,H)p(wI12,H)dw=Ⅳ(。(去]e卅一善棚(14)令=去=∑∑寺=寺(一()一6)。代入式(14),两边同时取对数得—∥—Inp(#,ID,)=MP+ln+Ⅳ-n一naetA+constant’式中:.,MP表示最优的W,此时和值分别::.v:v::Ow。tll+B一:一:∑设矩阵K的特征值用n表示,其中非零特征≤值个数为/(tN)。最优参数和可以由以下等aInp(/.t,ID,H)从而有:o,塑(£!!2:0a——2E=I。2E=Nq这里r/称作参数的有效数引,定义如下Ⅳ‘=+一抛c~=+l2.3第三层推断在证据框架的第三层中,通过比较不同模型的后验概率p(HID),从而找出最优的核参数。lD)=()=Ip(9lH)Ip(Dl,,H)(IH)d(1n/ ̄)・(16)√d(1n)ocp(DI[MP,,H)/(77・4l一77)对式(16)两边取对数,则Inp(HIJ[))=一E一E+l1n+N.1n一一1A一一1一.eAIndetAln(N—traceA1)一一…・)一221—1一Ⅳln(N一(一・traceA))+constant2由此可以看出最大化后验概率的对数Inp(HlD),就能得到最优核参数值。对于RBF核,令aInp(HJD)/aa=0即可求得。3基于贝叶斯证据框架下的加权LS-SVM模型—由于LSS'VWI模型损失了鲁棒性,因而本文采用了对模型中的误差量进行鲁棒加权,构造了加权—LSS ̄V3vl模型,从而鲁棒性能得到了提高。针对模型参数难以确定的情况,文中利用了贝叶斯证据推断理论找到了最优参数,进~步提高了模型的泛化性能。—基于贝叶斯证据框架下加权LSSVM模型的算法流程图如图1所示。4算例仿真与分析本文以哈尔滨1999年春季(3~5月)电力负荷为样本集,采取每日整点采样构成24个负荷数据。首先对这些数据进行预处理(包括对缺失数据和“”脏数据的处理),然后将气象条件(如降雨、最高温度、最低温度、温度等)进行量化。最后将它们归一化处理后,一起构成某日的特征向量输入模型进行训练和预测。考虑到日期类型不同负荷的特性也不同,本文将预测日期分为三类:一般工作日(周一至周五)、周末休息曰(周六、周日)以及重大节假日(主要是国家法定节假日,如春节、中秋等),针对不同日期类型建立不同的模型。预测时建立24个模型来对预测日进行整点负荷预测。..48..电力系统保护与控制l确定输冬输出变量lJLl对样本数据进行预lI处理并归一化l儿蘑斯推.主.断的l用准则2推断1LS-l正则化参数I———一l儿l构造加权LS-SVMll模型进行预测l儿l输出预测结果I图1算法流程图Fig.1Flowchartofalgorithm—采用本文提出的方法与一般LSSVM方法分别对5月某日负荷进行预测,选用相对误差绝对值和均方根相对误差来对预测精度进行分析,如图2所示。本文模型预测最大相对误差为4.437%,最小相对误差为0.127%,均方根相对误差为1.749%,预测准确率达到98.251%;而一般LS.SVM预测的最大相对误差为5.649%,最小相对误差为0.213%,均方根相对误差为2.368%,预测准确率为97.632%。从上面分析可以看出基于贝叶斯证据框架下加权LS.SVM的负荷预测模型具有较高的预测精度,取得了比较满意的预测效果。了模型的精度和泛化性能。用该方法对电力系统实际负荷进行预测,仿真结果表明,该建模方法具有良好的预测效果。参考文献[1]陈根永,史敬天,毛晓波,等.考虑温度积累效应的短期电力负荷预测方法研究【J].电力系统保护与控制,—2009,37(16):2428.—CHENGenyong,SHIJing-tian,MAOXiao-bo,eta1.:Studyonthemethodofshort-termloadforecastingconsideringtheaccumulationeffectoftemperature[J].PowerSystemProtectionandControl,2009,37(16):24.28.、林辉,刘晶,郝志峰,等.基于相似日负荷修正的节假曰短期负荷预测[J].电力系统保护与控制,2010,38(7):47-51.—L1NHui,LIUJing,HAOZhifeng,eta1.Short-termloadforeca’stingforholidaysbasedonthesimilardaysloadmodification[J].PowerSystemProtectionand—Control,2010,38(7):4751.SuykensJAK,GestelTV,BrabanterJD,eta1.Leastsquaressupportvectormachines[M].WorldScientificPublishingCo.Pte.Ltd.,2002.SuykensJAK。VandewalleJ.Leastsquaressupportvectormachineclassifiers[J].NeuralProcessingLetter,1999,9(3):293.300.赵登福,王蒙,张讲社,等.基于支持向量机方法的短期负荷预测[J].中国电机工程学报,2002,22(4):26.30.ZHAODeng-fu,WANGMeng,ZHANGJiang-she,eta1.Asupportvectormachinesapproachforshort-termloadforecasting[J].ProceedingsoftheCSEE,2002,22(4):26.30.叶淳铮,常鲜戎,顾为国.基于小波变换和支持向量机的电力系统短期负荷预测【J】.电力系统保护与控制,2009,37(14):41-45.—YEChunzheng,CHANGXian-rong,GUWei-guo.Short-termloadforecastingbasedonwavelettransformandsupportvectormachines[J].PowerSystemProtectionandControl,2009,37(14):41-45.ChenBJ,ChangMW,LinCJ.Loadforecastingusingsupportvectormachines:astudyonEUNITEcompetition2001[J].IEEETransonPowerSystems2004,19(4):1821.1830.杨延西,刘丁.基于小波变换和最小二乘支持向量机的短期电力负荷预测[J].电网技术,2005,29(13):—6064.YANGYan-xi,LIUDing.Short-termloadforecastingbasedonwavelettransforlTlandleastsquaresupport嘲王林川,等基于贝叶斯证据框架下WLS.SVM的短期负荷预测..49..vectormachines[J].PowerSystemTechnology,2005,29(13):60.64.[9]耿艳,韩学山,韩力.基于最小二乘支持向量机的短—期负荷预测[J].电网技术,2008,32(18):7276.—GENGYan,HANXueshan,HANLi.Short.termloadforecastingbasedonleastsquaressupportvectormachines[J].PowerSystemTechnology,2008,32(18):72.76.[10]谢宏,魏江平,刘鹤立.短期负荷预测中支持向量机模型的参数选取和优化方法【J】.中国电机工程学报,2006,26(22):17.22.XIEHong,WEIJiang-ping,LIUHe・li.ParameterselectionandoptimizationmethodofSVMmodelfor—shorttermloadforecasting[J].ProceedingsoftheCSEE,—2006,26(22):1722.[11]MackayDJC.Probablenetworkandplausiblepredictions--areviewofpracticalBayesianmethodsforsupervisedneuralnetworks[J].NetworkComputationin—NeuralSystems,1995,6:469505.[12]KowkJTheevidenceframeworkappliedtosupportvectormachines[J].IEEETransonNeuralNetwork,2000,11(5):l162.1173.[13]SuykensJAK,BrabanterJD,LukasL,eta1.Weightedleastsquaressupportvectormachines:robustnessandsparseapproximation[J].Neurocomputing,2001,48(2002):85.105.[14]范玉刚,李平,宋执环.动态加权最小二乘支持向量机[J】.控制与决策,2006,21(10):1129.1133.—FANYugang,LIPing,SONGZhi-huan.Dynamicweightedleastsquaressupportvectormachines[J].ControlandDecision,2006,2l(10):li29.1l33.[15]赵登福,庞文晨,张讲社,等.基于贝叶斯理论和在线学习支持向量机的短期负荷预测fJ1.中国电机工程学报,2005,25(13):8-13.—ZHAODeng・fu,PANGWenchen,ZHANGJiang-she,eta1.BasedonBayesiantheoryandonlinelearningSVMforshorttermloadforecasting[J].ProceedingsoftheCSEE,2005,25(13):8.13.—[16]YEBinyuan,LUOZhi-yong,ZHANGWen-feng,eta1.FaultdiagnosisforpowercircuitsbasedonSVMwithintheBayesianframework[C].//WorldCongresson—IntelligentControlandAutomation,2008:51255128.—收稿日期:201O-0415;—修回日期:201O-082O作者简介:王林川(1955-),男,硕士,教授,硕士生导师,主要研究方向为电力系统稳定与控制、电力系统负荷预测与评价;白波(1986一),男,硕士,工程师,主要从事电力系统负荷预测;E.mail:baibo882004@163.corn于奉振(1984一),男,硕士研究生,主要研究方向为电力系统稳定与控制。(上接第43页continuedfrompage43)[11]王赛一,王成山.遗传禁忌混合算法及其在电网规划中的应用『J1.电力系统自动化,2004,28(20):43.46,62.——WANGSaiyi,WANGChengshan.GeneticTabuhybridalgorithmanditsapplicationinpowernetworkplanning[J].AutomationofElectricPowerSystems,2004,28(20):43.46,62.[12]胡骅,虞海泓,赵良,等.电力市场环境下的输电网扩展规划[J].继电器,2006,34(6):39.43.—HUHua,YUHaihong,ZHAOLiang,eta1.Atransmissionnetworkexpansionplanningmethodinelectricitymarketenvironment[J].Relay,2006,34(6):39.43.[13]王淳,程浩忠.模拟植物生长算法及其在输电网规划—中的应用【J】.电力系统自动化,2007,31(7):2428.WANGChun,CHENGHao.zhong.Aplantgrowthsimulationalgorithmandiltsapplicationinpowertransmissionnetworkplanning[J].AutomationofElectric—PowerSystems,2007,31(7):2428.[14]郑浩然,曹先彬,刘克胜,等.基于食物链的生态进化算法[J1.计算机工程,2000,26(4):6-8.———ZHENGHaoran,CAOXianbin,LIUKesheng,eta1.’AnecologyevolutionaryalgorithmbasedoncreaturesfoodChain[J].ComputerEngineering.,2000,26(4):6.8.[15]王淳,易水平,刘建国.配电网重构的食物链生态进化算法[J].高电压技术,2009,35(11):2858.2864.——WANGChun,YIShuiping,LIUJianguo.Ecologyevolutionaryalgorithmoffoodchainforreconfigurationdistributionnetwork[J].HighVoltageEngineering,2009,35(11):2858.2864.[16]周明,孙树栋.遗传算法原理及应用[M】.北京:国防工业出版社,2002.收稿日期:2010-04-14;—修回日期:2010-0628作者简介:龚娇龙(1985一),男,硕士研究生,研究方向为输电网络优化规划:王淳(1963一),男,博士,教授,研究方向为电力系统规划及可靠性、优化理论在电力系统中的应用。E.mail:cwang_ncu_cn@163.corn
大叔大爷
该用户很懒,什么也没介绍
文档单价:6.00 会员免费
开通会员可免费下载任意文档