計量數(shù)據(jù)采集與應(yīng)用研究范文

本站小編為你精心準(zhǔn)備了計量數(shù)據(jù)采集與應(yīng)用研究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:隨著計量信息化應(yīng)用的持續(xù)開展，對計量數(shù)據(jù)的挖掘利用已經(jīng)成為企業(yè)信息化建設(shè)的重要課題，而大數(shù)據(jù)方法為這一課題提供了有效的技術(shù)基礎(chǔ)。從大數(shù)據(jù)的計量數(shù)據(jù)應(yīng)用出發(fā)，進(jìn)行了計量數(shù)據(jù)倉庫相對獨(dú)立建設(shè)的計量數(shù)據(jù)采集與應(yīng)用研究，并且通過與企業(yè)數(shù)據(jù)倉庫建立共享接口的方法實(shí)現(xiàn)了企業(yè)內(nèi)部數(shù)據(jù)的有效共享，并以此為基礎(chǔ)開展了一系列計量信息服務(wù)的應(yīng)用實(shí)踐，在取得預(yù)期效果的同時還積累了計量數(shù)據(jù)挖掘的知識體系和數(shù)據(jù)模式。

關(guān)鍵詞:大數(shù)據(jù);計量;數(shù)據(jù)采集;數(shù)據(jù)挖掘;應(yīng)用實(shí)例

0引言

能源計量和物資計量是企業(yè)管理的數(shù)據(jù)基礎(chǔ)，在信息技術(shù)不斷發(fā)展、企業(yè)信息化應(yīng)用不斷深入的大背景下，計量信息系統(tǒng)項目不僅要滿足計量管理的基本要求，還必須考慮如何更好的發(fā)揮計量數(shù)據(jù)資源的作用，不斷拓展和提升計量信息服務(wù)水平，因此基于大數(shù)據(jù)的計量數(shù)據(jù)采集與應(yīng)用就成為新一代信息技術(shù)條件下企業(yè)信息化的重要課題。發(fā)掘利用計量信息系統(tǒng)的應(yīng)用成果，建設(shè)計量數(shù)據(jù)倉庫，實(shí)現(xiàn)與企業(yè)信息化其它領(lǐng)域的資源共享，為計量管理和企業(yè)管理提供適應(yīng)大數(shù)據(jù)應(yīng)用的信息化服務(wù)，已經(jīng)成為計量信息化的重要發(fā)展方向。

1面向大數(shù)據(jù)的計量數(shù)據(jù)采集與存儲架構(gòu)設(shè)計

開展大數(shù)據(jù)應(yīng)用，既是對多年來企業(yè)信息化項目建設(shè)所形成的信息資源的發(fā)掘利用，又是對企業(yè)信息化項目的持續(xù)改進(jìn)與完善。通常企業(yè)在計量信息化方面會建設(shè)有流體能源計量、電力能源計量和物資計量等一系列圍繞著計量管理業(yè)務(wù)的計量信息系統(tǒng)。這些計量信息系統(tǒng)項目都是以滿足不同計量類型或不同業(yè)務(wù)領(lǐng)域的計量工作為目標(biāo)而開發(fā)建設(shè)的，為了適應(yīng)企業(yè)管理的綜合分析與決策需要，就必須按照一定的主題對這些不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行挖掘處理，建設(shè)計量數(shù)據(jù)倉庫。建設(shè)面向大數(shù)據(jù)的計量數(shù)據(jù)采集架構(gòu)體系，主要有以下工作內(nèi)容:

(1)現(xiàn)有計量信息系統(tǒng)改造與完善。對現(xiàn)有的計量信息系統(tǒng)改造與完善的主要任務(wù)是為數(shù)據(jù)挖掘準(zhǔn)備好“采集接口”，接口的核心內(nèi)容是各計量信息系統(tǒng)為計量數(shù)據(jù)挖掘提供計量數(shù)據(jù)基礎(chǔ)模型與訪問方法。

(2)計量數(shù)據(jù)倉庫建設(shè)。在計量數(shù)據(jù)倉庫建設(shè)這一步，要確定系統(tǒng)所包含的計量管理及相關(guān)的主題域，然后對每個主題域的內(nèi)容進(jìn)行描述，描述的內(nèi)容包括主題域的公共碼鍵、主題域之間的聯(lián)系和充分代表主題的屬性組。例如為能源成本管理主題服務(wù)的計量數(shù)據(jù)采集模型可以是“計量儀表編碼、計量數(shù)據(jù)采集時間、結(jié)算量”等屬性，而與之相配合的計量儀表管理模型應(yīng)該有“計量儀表編碼、計量儀表名稱、量程、采集計量單位、品種代碼、供應(yīng)單位代碼、使用單位代碼”等屬性。

(3)計量數(shù)據(jù)提取工具設(shè)計。將各計量信息系統(tǒng)所分散采集的計量數(shù)據(jù)提取到計量數(shù)據(jù)倉庫需要通過設(shè)計一個在數(shù)據(jù)挖掘領(lǐng)域稱為“ETL”的數(shù)據(jù)提取工具來完成。ETL是英文Extract-Trans-form-Load的縮寫，它是用來實(shí)現(xiàn)將數(shù)據(jù)從各計量信息系統(tǒng)的采集接口經(jīng)過提取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)至數(shù)據(jù)倉庫的三個基本過程。

(4)共享接口設(shè)計。為了能夠更加充分的利用計量數(shù)據(jù)，還需要提取ERP、MES等各類企業(yè)信息化系統(tǒng)的數(shù)據(jù)，通常可以建設(shè)一個共享接口來從企業(yè)數(shù)據(jù)倉庫提取計量管理所需數(shù)據(jù)，同時也通過這個共享接口為企業(yè)管理的其他領(lǐng)域提供計量數(shù)據(jù)。

2計量大數(shù)據(jù)應(yīng)用的挖掘處理流程設(shè)計

對計量大數(shù)據(jù)進(jìn)行應(yīng)用就是用戶從一個特定的主題出發(fā)，經(jīng)過定義主題、瀏覽數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)、生成模式、驗(yàn)證模式、應(yīng)用模式等過程，最后形成分析結(jié)果提交給用戶。

(1)用戶與定義主題。大數(shù)據(jù)應(yīng)用中的定義主題，就是用戶從計量大數(shù)據(jù)應(yīng)用的需求出發(fā)，利用各方面專家的經(jīng)驗(yàn)和知識庫中所積累的相關(guān)知識，再結(jié)合對數(shù)據(jù)倉庫和模式庫的了解來初步確定出解決具體問題的主題。

(2)瀏覽數(shù)據(jù)與準(zhǔn)備數(shù)據(jù)。根據(jù)主題的需要，對數(shù)據(jù)倉庫中的相關(guān)數(shù)據(jù)進(jìn)行檢索瀏覽與準(zhǔn)備處理，在這個過程中還可能需要結(jié)合所掌握數(shù)據(jù)的情況返回到主題的定義。

(3)生成模式和驗(yàn)證模式。在明確了主題并準(zhǔn)備了數(shù)據(jù)之后，還需要構(gòu)建完成主題所需要的一整套數(shù)據(jù)存儲模式(下面簡稱為“模式”)，模式中包含了對某一類數(shù)據(jù)的結(jié)構(gòu)、屬性、聯(lián)系和約束的描述。模式的生成過程可以是從模式庫中篩選后再進(jìn)行調(diào)整修改來實(shí)現(xiàn)，也可以結(jié)合應(yīng)用需求來定義新的模式。對于生成的模式要進(jìn)行驗(yàn)證，如果驗(yàn)證中發(fā)現(xiàn)問題也需要返回到定義主題階段。

(4)應(yīng)用模式形成分析結(jié)果。利用經(jīng)過驗(yàn)證的模式對數(shù)據(jù)進(jìn)行組織和處理，最后得出綜合統(tǒng)計分析的結(jié)果提交給用戶。在應(yīng)用模式的過程中如果存在問題也是要返回到定義主題階段重新進(jìn)行主題的調(diào)整。

3利用大數(shù)據(jù)的計量數(shù)據(jù)應(yīng)用

3.1利用計量數(shù)據(jù)的綜合平衡分析結(jié)果，指導(dǎo)生產(chǎn)現(xiàn)場的能源管理工作

某公司下屬的一個生產(chǎn)廠生活水有5條入口主管和75條消耗支管，這些水管都安裝了計量表，其中除4條小口徑間歇用水管的機(jī)械表外，76條管路的水表都實(shí)現(xiàn)了自動實(shí)時的計量數(shù)據(jù)采集入網(wǎng)。在進(jìn)行對生產(chǎn)作業(yè)區(qū)的能源指標(biāo)考核時，入口主管的供應(yīng)量(二級計量)與用水支管的消耗量(三級計量)總是出現(xiàn)超過40%的損失量，造成了廠部與作業(yè)區(qū)在管理上的矛盾，這類能源供應(yīng)量與消耗使用量的不平衡問題是大中型制造企業(yè)常見的現(xiàn)象。為了利用計量信息系統(tǒng)中已經(jīng)采集到的數(shù)據(jù)解決這類問題，首先確定了“能源二三級量平衡分析”的業(yè)務(wù)主題，結(jié)合計量數(shù)據(jù)倉庫中的數(shù)據(jù)存儲構(gòu)建了如下的模式:計量管理{計量儀表代碼、能源品種代碼、計量級別、使用單位代碼}計量數(shù)據(jù){計量儀表代碼、數(shù)據(jù)采集時間、結(jié)算數(shù)據(jù)}其中“計量管理”模式中存儲著每個計量儀表的管理屬性內(nèi)容，而根據(jù)數(shù)據(jù)分析的不同要求，“計量數(shù)據(jù)”模式中對每個儀表數(shù)據(jù)的時間粒度可以為小時量、班量或日量。應(yīng)用“計量管理”和“計量數(shù)據(jù)”兩個模式，以“計量儀表代碼”為關(guān)聯(lián)條件，以“能源品種代碼”、“使用單位代碼”和“數(shù)據(jù)采集時間”為數(shù)據(jù)檢索條件，以“計量級別”和“數(shù)據(jù)采集時間”為分類匯總條件，對該廠連續(xù)30天的生活水計量實(shí)時數(shù)據(jù)進(jìn)行挖掘處理，可以得到如下的一組分析結(jié)果:平衡分析結(jié)果{計量級別、數(shù)據(jù)采集時間、小時量結(jié)算數(shù)據(jù)}“平衡分析結(jié)果”中的計量級別“二級量”對應(yīng)實(shí)際入口量、“三級量”對應(yīng)實(shí)際消耗量，數(shù)據(jù)采集時間為“年月日時”。然后可以利用EXCEL的圖表分析工具進(jìn)行生活水供應(yīng)與消耗的平衡分析。

3.2滿足成本核算的計量設(shè)施建設(shè)情況分析

為了更好的適應(yīng)成本核算的要求，某公司計劃對現(xiàn)有的能源計量設(shè)施進(jìn)行全面的擴(kuò)充改造，項目實(shí)施前需要對現(xiàn)有的計量設(shè)施與成本核算要求的滿足情況進(jìn)行調(diào)查。(1)首先從企業(yè)數(shù)據(jù)倉庫中提取了下列模式:能源成本數(shù)據(jù){數(shù)據(jù)月份，能源品種代碼，核算單位代碼，核算成本中心代碼，能源使用量}(2)然后利用“能源成本數(shù)據(jù)”模式對12個月的實(shí)際數(shù)據(jù)進(jìn)行分類統(tǒng)計挖掘，得知該公司目前有24個成本核算能源品種、29家內(nèi)部二級能源成本核算單位，共設(shè)有197個三級成本核算的成本中心，還有45家外部能源轉(zhuǎn)供單位。通過對“能源成本數(shù)據(jù)”的處理生成了下列數(shù)據(jù)分析結(jié)果:能源核算單位與能源品種統(tǒng)計{使用單位代碼，能源品種代碼}能源核算成本中心與能源品種統(tǒng)計{成本中心代碼，能源品種代碼}(3)再從計量數(shù)據(jù)倉庫中生成下列模式:計量儀表管理{計量儀表代碼，能源品種代碼，計量級別，使用單位代碼，成本中心代碼}然后利用“計量儀表管理”模式提取出:使用單位與能源品種儀表統(tǒng)計{使用單位代碼，能源品種代碼，儀表計數(shù)}成本中心與能源品種儀表統(tǒng)計{成本中心代碼，能源品種代碼，儀表計數(shù)}(4)最后，按每個能源核算點(diǎn)至少需要有一塊計量儀表來考慮，分別對“能源核算單位與能源品種統(tǒng)計”和“使用單位與能源品種儀表統(tǒng)計”、“能源核算成本中心與能源品種統(tǒng)計”和“成本中心與能源品種儀表統(tǒng)計”進(jìn)行對比分析，就可以得出該公司各能源品種滿足能源成本核算所需要的二級計量儀表和三級計量儀表的配備情況。在進(jìn)行滿足成本核算的計量設(shè)施建設(shè)情況分析時需要考慮以下兩個因素:(1)根據(jù)工藝條件的不同，企業(yè)內(nèi)部的一些二級計量儀表可以同時又是三級計量儀表。(2)對于有些臨時使用或用量較小的能源使用場所，考慮到設(shè)備安裝及運(yùn)行維護(hù)成本的因素，采用估量或人工抄量的方法也是合理的。

3.3為企業(yè)管理服務(wù)的其它數(shù)據(jù)應(yīng)用

利用企業(yè)數(shù)據(jù)倉庫與計量數(shù)據(jù)倉庫還可以開展更多的綜合統(tǒng)計分析工作。

例如:

(1)對于煉鋼和軋鋼等重點(diǎn)生產(chǎn)工序，可以通過生產(chǎn)數(shù)據(jù)與計量數(shù)據(jù)的結(jié)合，實(shí)現(xiàn)按冶煉爐次和軋制批次的重點(diǎn)設(shè)備成本核算。

(2)通過提取分析一條生產(chǎn)線上主要用電設(shè)備的實(shí)時用電量數(shù)據(jù)，可以形成該生產(chǎn)線的停機(jī)時間記錄，并利用它進(jìn)行生產(chǎn)線的停機(jī)能源損耗統(tǒng)計分析。

(3)利用長期積累的生產(chǎn)數(shù)據(jù)和能源計量數(shù)據(jù)，編制從公司、生產(chǎn)廠、作業(yè)區(qū)到重點(diǎn)工序的能源計劃和能源考核指標(biāo)。

4結(jié)束語

采用了計量數(shù)據(jù)倉庫與企業(yè)數(shù)據(jù)倉庫相對獨(dú)立又相互配合的方式開展了面向大數(shù)據(jù)的計量數(shù)據(jù)采集與應(yīng)用研究，通過集成各個計量信息系統(tǒng)建設(shè)了計量數(shù)據(jù)倉庫，構(gòu)建了與企業(yè)數(shù)據(jù)倉庫的共享接口，在計量數(shù)據(jù)的挖掘與應(yīng)用中積累了初具規(guī)模的知識體系和數(shù)據(jù)模式。通過這樣的研究與應(yīng)用不但促進(jìn)了計量工作本身的不斷改進(jìn)和完善，更是通過計量信息資源的挖掘利用為企業(yè)管理的多個領(lǐng)域提供了有效的計量數(shù)據(jù)服務(wù)。

參考文獻(xiàn):

［1］劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述［J］．浙江大學(xué)學(xué)報:工學(xué)版，2014，59(6):957－972.

［2］張鎖.基于計量管理的信息化技術(shù)應(yīng)用［J］．工業(yè)計量，2016，26(6):18－21.

作者：周健 單位：本溪廣播電視大學(xué)