大數據平臺的電力負荷預測范文

本站小編為你精心準備了大數據平臺的電力負荷預測參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：電力行業是大數據應用的重要領域之一，電力系統每時每刻都在產生大規模、種類繁多的電力數據，面對海量數據，該如何將它們高效的處理和存儲，并進行有效開發利用十分關鍵。因此，研究基于Hadoop云計算平臺海量數據下的電力負荷預測方法，并在MapReduce編程框架的基礎下，將K⁃Means算法進行改良和優化。實驗結果表明，提出的方法是可行的，數據處理時間大大縮短，算法精度也能滿足負荷預測的要求。

關鍵詞：大數據；Hadoop；云計算；Mapreduce；電力系統；電力負荷預測

0引言

隨著電網建設速度的加快、規模的不斷擴大、要求的不斷提高，電網系統需要具有強大的數據分析和數據處理能力，這樣才能保證電網的安全運行[1⁃2]。但是當前電力系統對數據的分析和處理所采用的是集中式的計算平臺，這樣的平臺在面對海量數據時，如按常規系統10000個遙測點，采樣間隔3~4s計算，每年能產生1.03TB的數據，就會出現數據的儲存和計算問題，并且它的擴展性能比較差[3]。本文采用Hadoop云計算平臺，通過搭建完全分布式集群，在多個節點上對數據進行計算和處理，可以極大地提升數據處理效率。多年來，電力負荷預測的方法不斷出現，例如時間序列法、趨勢外推法、神經網絡、線性回歸、小波分析法等。但這些方法仍然存在局限性。神經網絡法很難避免在訓練過程中的學習不足且收斂過慢[4]；時間序列法對歷史數據準確性要求高，短期電力負荷預測時對天氣因素不敏感，難以解決因氣象條件、區域等因素造成的短期負荷預測不準確問題。本文采用某地區的電力負荷數據作為基礎。將K⁃Means聚類算法與云計算平臺的MapReduce框架結合對電力負荷進行研究。此方案首先將大量的數據進行標記并產生鍵值對，然后分配多個節點并同時對數據進行處理和分析，最后將結果合并，這個過程大大提升了數據處理的效率。

1基于Hadoop平臺的K⁃Means聚類算法

1.1傳統的K⁃Means聚類算法

傳統K均值算法（K⁃MeansAlgorithm）的基本流程為：作為一種基于劃分的聚類算法，K⁃Means算法首先從原始目標集合中選取K個點作為初始的K個簇的中心；隨后再將每個點指派到離該點最近的簇中心；最后，當所有的點都被劃歸到一個簇后，對簇中心進行更新；不斷重復這樣的過程直到簇中心收斂或者其他收斂條件滿足（通常為迭代次數）。有兩個方面問題需要考慮：一是距離度量，也就是如何衡量兩個數據點之間的距離；二是簇中心的表示問題。在首次迭代中通常隨機抽取K個原始數據點作為最初的K個簇中心，而后續的迭代通常通過取屬于一個簇的所有點的平均值作為新的簇中心。

1.2基于Hadoop平臺的K⁃Means聚類算法設計實現

1.2.1MapReduce并行編程模型MapReduce利用函數式編程中映射（map）和規約（reduce）的思想，將所有的輸入/輸出數據都以（key，val⁃ue）鍵值對的形式來表示。本文一次MapReduce計算的完成由三個階段構成：Map階段、Shuffle階段和Reduce階段[6]。

1.2.2基于MapReduce框架的K⁃Means聚類算法K⁃Means算法在MapReduce框架上實現主要分成2個步驟。1）將原始數據導入，并在數據集合中隨機選取K個點作為初始簇中心。同時需先定義一個類，該類保存一個簇的基本信息。定義之后需要隨機抽取K個點作為初始的簇中心。選取過程為，初始化簇中心集合為空，然后掃描整個數據集。當前簇中心集合大小小于K，則將掃描到的點加入到簇中心集合中，否則以1(K)+1的概率替換掉簇中心集合中的一點。2）把存儲在本地的數據集合在Map節點上使用以上方法生成聚類集合，然后在Reduce階段生成新的全局聚類中心。①Map方法的實現。Map方法需要將每個傳入的數據進行處理，并找到離其最近的簇中心，同時將簇中的id作為鍵，該數據點作為值發射出去，表示這個數據點屬于id所在的簇。②Reduce的實現。此過程是將多次迭代逐步逼近最終聚類中心的過程，同時重復此過程直到所求的聚類中心不再發生變化為止。

2負荷預測實驗及結果分析

2.1實驗數據

本實驗數據來源于地區1從2009年1月1日—2015年1月10日的電力負荷數據（每15min一個采樣點，每日96點，量綱為MW），以及2012年1月1日—2015年1月17日的氣象因素數據（日最高溫度、日最低溫度、日平均溫度、日相對濕度以及日降雨量）。選取2015年1月3日—2015年1月9日作為訓練數據，如表1所示。在對該地區進行電力負荷預測時，考慮了地區溫度等天氣因素。通過最終實驗結果來分析溫度等因素對電力負荷預測造成的影響，同時對后續的研究提供參考。

2.2實驗結果分析

1）基于MapReduce框架實現的算法與傳統算法效率對比。）預測實驗結果。在應用MapReduce框架實現的算法得到1月10日電力負荷的預測值與實際值進行對比，并計算出誤差。

3結論

本文針對當前電力負荷數據量不斷增長，大量數據的處理過程效率不高，耗費時間太長，以及電力負荷預測精度較低，得到的結果不能很好的計算和存儲，研究了大數據在電力負荷預測方面的問題。通過在Hadoop平臺上搭建集群，將K⁃Means聚類算法在基于MapRe⁃duce框架上實現，提出了基于MapReduce編程框架的并行算法。由實驗結果可得，集群的數據處理能夠解決當前海量電力負荷數據的問題，提出的并行算法精度也能滿足負荷預測的要求。

作者：劉南艷；賀敏；趙建文 單位：西安科技大學