云計(jì)算在數(shù)據(jù)挖掘技術(shù)中的應(yīng)用范文

本站小編為你精心準(zhǔn)備了云計(jì)算在數(shù)據(jù)挖掘技術(shù)中的應(yīng)用參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:伴隨信息技術(shù)的不斷發(fā)展，WEB數(shù)據(jù)挖掘技術(shù)也隨之不斷完善和成熟，逐漸被廣泛運(yùn)用于各行各業(yè)，其發(fā)揮的作用不容小覷。云計(jì)算是信息存儲(chǔ)的重大改革，很大程度提升了信息存儲(chǔ)的容量和安全性能。本文基于云計(jì)算的應(yīng)用現(xiàn)狀和技術(shù)分析，結(jié)合WEB數(shù)據(jù)挖掘技術(shù)的發(fā)展情況，對(duì)以云計(jì)算為基礎(chǔ)的WEB數(shù)據(jù)挖掘技術(shù)展開深入研究，從而間接推動(dòng)信息技術(shù)的發(fā)展。

關(guān)鍵詞:WEB數(shù)據(jù)挖掘技術(shù);云計(jì)算;現(xiàn)狀;應(yīng)用

0引言

互聯(lián)網(wǎng)的出現(xiàn)和發(fā)展很大程度改變了人類的生活習(xí)慣，與之有關(guān)的網(wǎng)絡(luò)和互聯(lián)網(wǎng)信息也日益豐富和復(fù)雜。一般而言，WEB發(fā)揮著在大數(shù)據(jù)庫中提煉有用信息的功能，而WEB挖掘技術(shù)則發(fā)揮著從挖掘出的信息之間發(fā)現(xiàn)其相關(guān)性和怎樣將其應(yīng)用于具體問題解決之中的功能。目前，大量數(shù)據(jù)很難在一臺(tái)計(jì)算機(jī)上進(jìn)行處理分析，為了滿足技術(shù)進(jìn)步和社會(huì)發(fā)展的需求，云計(jì)算隨之出現(xiàn)并快速發(fā)展，其憑借較強(qiáng)的信息存儲(chǔ)能力、安全性能以及數(shù)據(jù)處理分析能力等，受到各行各業(yè)的廣泛關(guān)注。

1云計(jì)算的應(yīng)用現(xiàn)狀和技術(shù)分析

1.1應(yīng)用現(xiàn)狀

WEB的發(fā)展經(jīng)過了一個(gè)漫長的過程，隨著信息技術(shù)的發(fā)展和電子商務(wù)的興起，人們對(duì)互聯(lián)網(wǎng)的應(yīng)用日益頻繁和依賴性日益加強(qiáng)，掀起了一股WEB2.0的發(fā)展熱潮。對(duì)于互聯(lián)網(wǎng)企業(yè)而言，信息需求分析能力已成為衡量企業(yè)競爭水平的重要指標(biāo)，特別是根據(jù)用戶需求建設(shè)的這類網(wǎng)站，比如視頻網(wǎng)站就需通過數(shù)據(jù)分析來進(jìn)行網(wǎng)站功能設(shè)計(jì)。總之，云計(jì)算的產(chǎn)生和應(yīng)用有效解決了網(wǎng)絡(luò)技術(shù)的一些發(fā)展難題。在國內(nèi)網(wǎng)民數(shù)量巨大且持續(xù)增長的背景下，越來越多的大型企業(yè)通過云計(jì)算來進(jìn)行數(shù)據(jù)加工處理和分析應(yīng)用。

1.2技術(shù)特征

通常來講，云計(jì)算主要針對(duì)數(shù)據(jù)管理，主要對(duì)象是數(shù)據(jù)信息，其和信息技術(shù)有顯著差異，具體有以下幾點(diǎn):(1)廣泛性。存儲(chǔ)技術(shù)是云計(jì)算的關(guān)鍵技術(shù)之一，采取分布式存儲(chǔ)模式來提升存儲(chǔ)容量和存儲(chǔ)安全性，且性價(jià)比較高，實(shí)用性較強(qiáng);(2)數(shù)據(jù)管理能力較強(qiáng)。云計(jì)算可實(shí)時(shí)監(jiān)控大數(shù)據(jù)，可隨時(shí)隨地進(jìn)行數(shù)據(jù)處理分析，同時(shí)可有目的地篩選出有用數(shù)據(jù)信息，技術(shù)先進(jìn)，效率較高;(3)編程技術(shù)的先進(jìn)性。技術(shù)元素是衡量云計(jì)算能否滿足客戶需求的重要指標(biāo)，是維持云計(jì)算系統(tǒng)正常運(yùn)轉(zhuǎn)的核心元素，由此可見，編程技術(shù)所發(fā)揮的作用無可取代。當(dāng)前，Map－Reduce編程技術(shù)應(yīng)用最為廣泛，初期以樹狀結(jié)構(gòu)呈現(xiàn)，分支之后還需其他編程技術(shù)來維護(hù);(4)虛擬技術(shù)的應(yīng)用。虛擬技術(shù)在云計(jì)算中的應(yīng)用較多，這是由于虛擬技術(shù)能有效配置網(wǎng)絡(luò)資源，脫離各分支系統(tǒng)獨(dú)立存在，在將各分支系統(tǒng)獨(dú)立化的同時(shí)，還將數(shù)據(jù)信息也分割成大量的獨(dú)立部分。這種模式使得云計(jì)算系統(tǒng)的彈性較大，能靈活運(yùn)用動(dòng)態(tài)的虛擬資源，有效降低成本費(fèi)用，提高網(wǎng)絡(luò)資源管理的安全性。

2WEB數(shù)據(jù)挖掘技術(shù)的發(fā)展

2.1WEB數(shù)據(jù)挖掘技術(shù)的定義

WEB數(shù)據(jù)挖掘技術(shù)是結(jié)合WEB、信息技術(shù)、網(wǎng)絡(luò)技術(shù)等對(duì)挖掘信息進(jìn)行全面分析處理，WEB和數(shù)據(jù)挖掘的有效融合反映了較強(qiáng)的綜合性，主要可分為基于內(nèi)容、架構(gòu)、應(yīng)用等幾種WEB數(shù)據(jù)挖掘技術(shù)。就內(nèi)容方面而言，是在WEB環(huán)境下，通過人工模式從相關(guān)文件夾中提煉有用信息;就架構(gòu)方面而言，是采取人工方式挖掘不同的數(shù)據(jù)結(jié)構(gòu)，再采取有關(guān)手段來提煉有用信息;就應(yīng)用方面而言，是將挖掘主體存儲(chǔ)在日志文件之中，再據(jù)此來挖掘出站點(diǎn)的用戶信息。因此，所謂的數(shù)據(jù)挖掘，即采取有關(guān)技術(shù)來提煉WEB文檔中的有用信息，并據(jù)此來分析預(yù)測其未來發(fā)展趨勢。總而言之，WEB挖掘技術(shù)并非是一項(xiàng)簡單的技術(shù)，而是多種技術(shù)的有效融合和廣泛應(yīng)用。

2.2WEB數(shù)據(jù)挖掘技術(shù)的種類

通常來講，關(guān)于WEB數(shù)據(jù)挖掘技術(shù)的種類有多種分類依據(jù)，一般是根據(jù)其對(duì)象類別劃分為基于內(nèi)容、架構(gòu)、應(yīng)用的三種WEB數(shù)據(jù)挖掘技術(shù)。就內(nèi)容角度而言，其主要對(duì)象是WEB文檔中數(shù)據(jù)信息，比如提煉出的圖像、音頻、視頻等具體信息，且還可細(xì)分為純文本數(shù)據(jù)挖掘和多媒體數(shù)據(jù)挖掘兩種;就結(jié)構(gòu)角度而言，其主要對(duì)象是數(shù)據(jù)架構(gòu)，發(fā)揮著區(qū)分?jǐn)?shù)據(jù)架構(gòu)是組織架構(gòu)還是頁面架構(gòu)的功能，并且還要對(duì)數(shù)據(jù)鏈進(jìn)行詳細(xì)分類，對(duì)WEB數(shù)據(jù)挖掘技術(shù)的效率和準(zhǔn)確性的提升有顯著作用;就應(yīng)用角度而言，通過對(duì)WEB文檔中的數(shù)據(jù)信息進(jìn)行具體分析處理，來對(duì)用戶類型進(jìn)行詳細(xì)分類，進(jìn)而挖掘出更多的潛藏用戶。

2.3WEB數(shù)據(jù)挖掘技術(shù)的流程

通常情況下，WEB挖掘技術(shù)的流程會(huì)受到較多元素的作用，和傳統(tǒng)數(shù)據(jù)挖掘方式相比，其對(duì)象和手段有顯著變化，所以其流程也有所差異。如何將數(shù)據(jù)挖掘技術(shù)和WEB相結(jié)合是目前該技術(shù)發(fā)展的主要難題，這是因?yàn)閃EB數(shù)據(jù)挖掘技術(shù)并非是有關(guān)技術(shù)的簡單應(yīng)用，而是一個(gè)有機(jī)整體，需要經(jīng)過檢索信息、選擇信息、分析信息等一系列流程。檢索信息是對(duì)WEB文檔中的數(shù)據(jù)信息或網(wǎng)站上的日志、新聞等內(nèi)容進(jìn)行查詢分析;選擇信息是對(duì)上一環(huán)節(jié)查詢到的信息進(jìn)行篩選辨別，去掉一些無用的數(shù)據(jù)信息，并對(duì)有用信息進(jìn)行初步分析;分析信息是對(duì)待處理的數(shù)據(jù)信息進(jìn)行深入的篩選辨別，提煉出有價(jià)值的數(shù)據(jù)信息。關(guān)于WEB數(shù)據(jù)挖掘的整個(gè)流程，不僅需要自動(dòng)化設(shè)備的輔助，還需要人工辨別的支持。

3云計(jì)算在WEB數(shù)據(jù)挖掘技術(shù)中的應(yīng)用初探

3.1以云計(jì)算為基礎(chǔ)的WEB數(shù)據(jù)挖掘系統(tǒng)架構(gòu)

WEB數(shù)據(jù)挖掘系統(tǒng)架構(gòu)是由幾個(gè)節(jié)點(diǎn)相互關(guān)聯(lián)形成的，云計(jì)算發(fā)揮著使WEB數(shù)據(jù)挖掘系統(tǒng)架構(gòu)各節(jié)點(diǎn)相互作用的功能，從而促進(jìn)WEB數(shù)據(jù)挖掘系統(tǒng)的完善化，具體架構(gòu)圖如圖1所示。主控節(jié)點(diǎn)是用戶和其他節(jié)點(diǎn)關(guān)聯(lián)的中樞紐帶;算法節(jié)點(diǎn)則負(fù)責(zé)保證數(shù)據(jù)分析的相關(guān)算法支撐，類似于一個(gè)算法數(shù)據(jù)庫;數(shù)據(jù)節(jié)點(diǎn)則是一個(gè)存儲(chǔ)數(shù)據(jù)的大數(shù)據(jù)庫;服務(wù)節(jié)點(diǎn)則發(fā)揮著控制任務(wù)進(jìn)程和反饋分析結(jié)果的功能。(1)服務(wù)層。服務(wù)層是一個(gè)結(jié)合用戶需求通過WEB數(shù)據(jù)挖掘技術(shù)來進(jìn)行數(shù)據(jù)分析，同時(shí)將結(jié)果反饋給用戶的過程;(2)控制層。控制層是通過主控節(jié)點(diǎn)來根據(jù)用戶具體需求分析，選出最恰當(dāng)?shù)乃惴ǔ绦颍ＷC算法程序和信息數(shù)據(jù)的契合度;(3)存儲(chǔ)層。存儲(chǔ)層主要發(fā)揮著存儲(chǔ)使用的算法程序、用戶需求和最終反饋結(jié)果的功能。存儲(chǔ)層有效降低了原始數(shù)據(jù)或算法丟失的可能性，即使是系統(tǒng)故障，后續(xù)也可在數(shù)據(jù)和算法存儲(chǔ)層找到相關(guān)的信息數(shù)據(jù)并且具有可恢復(fù)性;(4)業(yè)務(wù)處理層。業(yè)務(wù)處理層將數(shù)據(jù)庫中的原始信息通過主控節(jié)點(diǎn)來進(jìn)行初步分配，在數(shù)據(jù)進(jìn)行分析處理之后，再由服務(wù)節(jié)點(diǎn)將分析結(jié)果反饋到主控節(jié)點(diǎn)。

3.2以云計(jì)算為基礎(chǔ)的WEB數(shù)據(jù)挖掘算法程序

一般情況下，以云計(jì)算為基礎(chǔ)的WEB數(shù)據(jù)挖掘算法程序的基本步驟如下:(1)結(jié)合用戶需求來明確可信度，這種用戶需求通常是通過WEB網(wǎng)頁傳遞過來的;(2)WEB網(wǎng)頁客戶端向主控節(jié)點(diǎn)發(fā)出服務(wù)指令，數(shù)據(jù)節(jié)點(diǎn)會(huì)向主控節(jié)點(diǎn)傳遞原始數(shù)據(jù)，同時(shí)將服務(wù)節(jié)點(diǎn)分析的結(jié)果反饋到主控節(jié)點(diǎn);(3)主控節(jié)點(diǎn)將信息數(shù)據(jù)傳遞給算法節(jié)點(diǎn)，從算法程序數(shù)據(jù)庫中選出最優(yōu)的數(shù)據(jù)挖掘算法程序，再分配至各服務(wù)節(jié)點(diǎn);(4)各服務(wù)節(jié)點(diǎn)會(huì)有目的的篩選數(shù)據(jù)，并對(duì)信息數(shù)據(jù)進(jìn)行整理分類，通過Apriori算法得到數(shù)據(jù)庫的頻集;(5)將分析結(jié)果反饋至主控節(jié)點(diǎn)，獲取整體數(shù)據(jù)庫的頻集，再將其傳遞至各服務(wù)節(jié)點(diǎn)，提高節(jié)點(diǎn)上的頻集準(zhǔn)確性。如此反復(fù)，再將服務(wù)節(jié)點(diǎn)的分析結(jié)果反饋至主控節(jié)點(diǎn)，從而提高整體頻集的準(zhǔn)確性;(6)主控節(jié)點(diǎn)將最終結(jié)果反饋給用戶。

3.3算法結(jié)果分析

算法程序結(jié)果的檢驗(yàn)有賴于實(shí)驗(yàn)數(shù)據(jù)的支持，據(jù)分析結(jié)果顯示，算法效率和信息量的關(guān)系成正相關(guān)，并且傳遞時(shí)間有差異，算法程序的傳輸時(shí)間要少于數(shù)據(jù)傳輸時(shí)間。與一般算法相比，WEB數(shù)據(jù)挖掘算法有顯著不同，可通過改變其他算法來獲得新算法程序。基于云計(jì)算的WEB數(shù)據(jù)挖掘算法是一個(gè)整體算法，各節(jié)點(diǎn)聯(lián)系較強(qiáng)，有效避免了有效關(guān)聯(lián)規(guī)則遺漏的問題。

4結(jié)語

總而言之，WEB數(shù)據(jù)挖掘技術(shù)是對(duì)通過WEB文檔或其他網(wǎng)絡(luò)手段提煉的信息進(jìn)一步加工處理、分析運(yùn)用的技術(shù)，其可結(jié)合人們的生活習(xí)慣和模式來掌握人們的具體需要。互聯(lián)網(wǎng)的發(fā)展使得網(wǎng)絡(luò)信息量呈幾何式增長，對(duì)信息存儲(chǔ)容量和數(shù)據(jù)分析能力的需求也有所提高，怎樣突破技術(shù)限制來挖掘出有效的網(wǎng)絡(luò)信息是目前互聯(lián)網(wǎng)行業(yè)面臨的主要問題。而云計(jì)算較強(qiáng)的信息存儲(chǔ)能力和數(shù)據(jù)計(jì)算能力，使得其受到互聯(lián)網(wǎng)行業(yè)的充分重視。基于云計(jì)算的WEB數(shù)據(jù)挖掘技術(shù)可統(tǒng)一管理控制網(wǎng)絡(luò)資源，結(jié)合WEB數(shù)據(jù)挖掘系統(tǒng)來充分運(yùn)用云計(jì)算的信息存儲(chǔ)能力和數(shù)據(jù)計(jì)算能力，從而提升互聯(lián)網(wǎng)信息資源的利用率。

參考文獻(xiàn)

［1］孫雪凌．?dāng)?shù)據(jù)科學(xué)在高校學(xué)風(fēng)治理工作中的應(yīng)用探索［J］．無線互聯(lián)科技，2016(17):129－132．

［2］沈軍霞，葛坤．新時(shí)期ERP系統(tǒng)應(yīng)用與實(shí)踐探討［J］．無線互聯(lián)科技，2016(17):23－26．

［3］王光煒，薛玉倩．基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)［J］．內(nèi)蒙古科技與經(jīng)濟(jì)，2016(19):65－69．

［4］張玨，陳莉，田建學(xué)．面向零售業(yè)的關(guān)聯(lián)規(guī)則挖掘的研究與實(shí)現(xiàn)［J］．計(jì)算機(jī)技術(shù)與發(fā)展，2016(10):146－150．

［5］邵傳飛．基于數(shù)據(jù)挖掘的兵棋推演數(shù)據(jù)分析方法研究［J］．通訊世界，2016(21):245－247．

［6］劉占敏，劉津伊，賈蓓．FP－Growth算法在學(xué)生成績分析中的應(yīng)用［J］．信息與電腦(理論版)，2016(13):85－87．

［7］高瑜，仝衛(wèi)國．基于關(guān)聯(lián)規(guī)則的一次風(fēng)機(jī)故障預(yù)警方法研究［J］．電力科學(xué)與工程，2016(10):46－49．

［8］王麗格．大數(shù)據(jù)時(shí)代下的數(shù)據(jù)挖掘和分析探究［J］．科技展望，2016(30):201－203．

［9］熊伯安．基于大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘及分析［J］．電子世界，2016(20):51－53．

［10］謝邦昌，斯介生．大數(shù)據(jù)分析中軌跡數(shù)據(jù)挖掘的現(xiàn)狀與挑戰(zhàn)［J］．中國統(tǒng)計(jì)，2016(08):459－461．

［11］曾召文．Web日志挖掘在中小學(xué)校園網(wǎng)站建設(shè)中的應(yīng)用研究［D］．湖南師范大學(xué)2015:246－248．

［12］王賦聰．Web日志挖掘系統(tǒng)的研究與實(shí)現(xiàn)［D］．北京郵電大學(xué)，2015:59－63.

作者：薛醫(yī)貴 單位：陜西工業(yè)職業(yè)技術(shù)學(xué)院