數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用范文

本站小編為你精心準(zhǔn)備了數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要：

隨著科技的進(jìn)一步發(fā)展，已經(jīng)帶動(dòng)著各大領(lǐng)域的創(chuàng)新和發(fā)展。而我國(guó)在近年來，城市信息化的普及也在不斷推進(jìn)，網(wǎng)絡(luò)技術(shù)的改革和發(fā)展也顯得格外重要。而特別很多企業(yè)對(duì)于自身的信息和數(shù)據(jù)儲(chǔ)存、共享以及處理都格外注重，要求技術(shù)本身要包含安全性、便捷性以及可靠性。，而是在大數(shù)據(jù)提出后，數(shù)據(jù)挖掘技術(shù)已經(jīng)成為了一種新的主流技術(shù)，而研究數(shù)據(jù)挖掘技術(shù)的理念、方法以及應(yīng)用領(lǐng)域，將對(duì)我國(guó)工程施工領(lǐng)域的未來帶來更多的機(jī)遇和挑戰(zhàn)。

關(guān)鍵詞：

大數(shù)據(jù)時(shí)代數(shù)據(jù)挖掘技術(shù)分析和研究運(yùn)用數(shù)據(jù)挖掘技術(shù)，也被稱為數(shù)字處理技術(shù)，顧名思義，就是對(duì)于目前各大企業(yè)的內(nèi)部數(shù)據(jù)，進(jìn)行整理、調(diào)整、挖掘?qū)嵤┮约霸u(píng)估等一系列處理操作，其主要的目標(biāo)是保證全局?jǐn)?shù)據(jù)都能夠得到充分的優(yōu)化。而大數(shù)據(jù)則是區(qū)分于以往抽樣調(diào)查的方法，而是對(duì)于全局?jǐn)?shù)據(jù)進(jìn)行分析，從而保證分析的全面以及完成。而大數(shù)據(jù)技術(shù)也包含4個(gè)優(yōu)點(diǎn)，即高數(shù)量、高速度、多元化以及高價(jià)值。而筆者將通過本文，就大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用進(jìn)行分析和探討。

1相關(guān)概念的簡(jiǎn)介

1.1大數(shù)據(jù)的概念關(guān)于大數(shù)據(jù)的理念提出，可以追溯到麥肯錫研究院于2011年的《大數(shù)據(jù):創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》，其中闡述的觀念就涵蓋數(shù)據(jù)方面，即數(shù)據(jù)已經(jīng)融入到了人們的日常生活中，也是生產(chǎn)運(yùn)作的一個(gè)重要因素。而大數(shù)據(jù)的運(yùn)用，對(duì)于消費(fèi)以及生產(chǎn)水平都是一種有效的提升提升，根據(jù)美國(guó)曾經(jīng)的《大數(shù)據(jù)研究和發(fā)展倡議》資料，截至2011年一年，全球總的數(shù)據(jù)就增加了1.8ZB,而進(jìn)行人均計(jì)算，相當(dāng)于每個(gè)人都具有至少200GB的數(shù)據(jù)資源，而且這一數(shù)據(jù)還在呈現(xiàn)出日益增長(zhǎng)的趨勢(shì)，根據(jù)統(tǒng)計(jì)計(jì)算，這一數(shù)值將會(huì)按照約為50%/年的速度增長(zhǎng)。

1.2數(shù)據(jù)挖掘作為一個(gè)新型學(xué)科，數(shù)據(jù)挖掘技術(shù)源于20世紀(jì)的80年代，那時(shí)其效用與目前存在本質(zhì)差異，科學(xué)家最初研究大數(shù)據(jù)，主要是用于一些人工智能技術(shù)的開發(fā)。簡(jiǎn)而言之，技術(shù)層面上，數(shù)據(jù)挖掘就是一個(gè)對(duì)數(shù)據(jù)進(jìn)行發(fā)掘創(chuàng)新的過程，即要求目標(biāo)數(shù)據(jù)具有隱蔽性、挖掘價(jià)值以及挖掘潛力，而且需要操作者在一堆冗雜的、隨機(jī)的、模糊的數(shù)據(jù)庫中進(jìn)行挖掘；而對(duì)于商業(yè)層面上來說，數(shù)據(jù)挖掘就是在一些大量的數(shù)據(jù)信息中獲得規(guī)律以及價(jià)值信息，從而為決策提供重要的知識(shí)憑據(jù)。

2數(shù)據(jù)挖掘的研究手段

對(duì)于數(shù)據(jù)挖掘而言，不同的研究手段將是其開展的重要基礎(chǔ)，而研究手段的決定，主要需要依靠科學(xué)的計(jì)算為依據(jù)，分析和對(duì)比數(shù)據(jù)中存在的一些不為人知的規(guī)則，然后通過研究手段的改變?nèi)?yīng)付不同的問題，對(duì)于實(shí)際操作來說，就是針對(duì)不同的數(shù)據(jù)找出不同的解決方法，而常見數(shù)據(jù)挖掘的研究手段主要可以分為四類，即聚類研究、分類和預(yù)測(cè)以及關(guān)聯(lián)研究。

2.1聚類研究將抽選的數(shù)據(jù)或者對(duì)象的庫進(jìn)行類似“分類”的聚類劃分，然后再將其中的相同或者相近的數(shù)據(jù)劃分為一個(gè)組類，由此建立起多個(gè)組類開展研究的過程。整個(gè)過程突出的是一種無知識(shí)基礎(chǔ)、無監(jiān)督管控的學(xué)習(xí)過程。而整個(gè)過程由于分類研究有本質(zhì)的差異，因?yàn)榫垲愌芯吭谑孪雀緹o法得到目標(biāo)的重要屬性數(shù)據(jù)，而這種分析方法主要可以用于多個(gè)區(qū)域，例如心理、統(tǒng)計(jì)、醫(yī)藥、銷售以及數(shù)據(jù)識(shí)別等，而根據(jù)其隸屬度的取值，有能將其分為兩種研究方法，即硬聚類與模糊聚類，對(duì)于前者來說，就是將目標(biāo)按照影響標(biāo)準(zhǔn)進(jìn)行劃分，即目標(biāo)如果屬于某類，必定不屬于其他類；而對(duì)于后者來說，主要取決與隸屬度的取值不同。而劃分過程可能會(huì)將目標(biāo)劃分入多個(gè)聚類中。此外聚類的計(jì)算方法也能分為多種，即包含密度算法、層次算法、劃分算法、網(wǎng)格算法以及模型算法等等。

2.2分類與估測(cè)對(duì)于分類與數(shù)值估測(cè)來說，都是屬于是問題預(yù)測(cè)方式，其中前者要求估測(cè)各個(gè)類中的標(biāo)號(hào)，這些標(biāo)號(hào)都是分散且無規(guī)律的，而估測(cè)方法可以采用函數(shù)模型，要求模型類型為連續(xù)值函數(shù)。分類估測(cè)作為數(shù)據(jù)挖掘的起始工作，主要需要反應(yīng)已經(jīng)獲知的訓(xùn)練數(shù)據(jù)庫的特點(diǎn)，從而根據(jù)以上基礎(chǔ)完成其中對(duì)每一類的情況以及特點(diǎn)完成相應(yīng)的分類操作，而整個(gè)操作也是受到督促的，對(duì)于一般的分類算法可以有決策樹、粗糙集、貝葉斯、遺傳等算法，而估測(cè)主要是基于分類以及回歸基礎(chǔ)，估測(cè)數(shù)據(jù)將來的動(dòng)向，即包含局勢(shì)外推、時(shí)間序列以及回歸分析幾類。

2.3關(guān)聯(lián)研究關(guān)聯(lián)研究是源于自然生物間微妙的關(guān)系，而某事情的發(fā)生和發(fā)展也會(huì)引發(fā)連鎖的事情發(fā)展，也就類似所謂“蝴蝶效應(yīng)”的定義。而關(guān)聯(lián)研究的研究目標(biāo)即是研究物與物之間的微妙關(guān)系，包含一些依賴關(guān)系等等，從而找出其中的規(guī)則，基于規(guī)則，分析將來的動(dòng)向。以購(gòu)物為例，分析購(gòu)物者的心理規(guī)律以及習(xí)慣，可以從他們對(duì)于購(gòu)物的一系列表現(xiàn)，例如購(gòu)物籃的物品類型、放置規(guī)律、購(gòu)物消費(fèi)理念、購(gòu)物環(huán)境需求等等，而掌握這些規(guī)律，足以讓一個(gè)銷售企業(yè)獲得巨大的消費(fèi)市場(chǎng)以及商機(jī)。

3大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘的運(yùn)用

3.1數(shù)據(jù)準(zhǔn)備準(zhǔn)備流程需要依附于研究者已經(jīng)建立起長(zhǎng)期且豐富數(shù)據(jù)資源的數(shù)據(jù)庫，而根據(jù)這些無規(guī)則的原始數(shù)據(jù)進(jìn)行相應(yīng)的挖掘前的準(zhǔn)備的工作，例如數(shù)據(jù)的處理、擇取、清除、推敲以及轉(zhuǎn)變，作為基礎(chǔ)的流程，數(shù)據(jù)準(zhǔn)備操作在整個(gè)流程中起到重要的基礎(chǔ)作用。

3.2數(shù)據(jù)挖掘開展數(shù)據(jù)挖掘操作，需要根據(jù)挖掘?qū)ο蟮那闆r擇選最優(yōu)的計(jì)算方法，從而獲取其中的規(guī)律性，例如對(duì)應(yīng)采用決策樹算法、分類算法、神經(jīng)網(wǎng)絡(luò)算法以及Apriori算法等。

3.3數(shù)據(jù)挖掘的模式評(píng)估研究模式評(píng)估的對(duì)象主要是通過數(shù)據(jù)挖掘處理過程數(shù)據(jù)，而評(píng)估流程是了解、研究且取得其中數(shù)據(jù)的規(guī)則，然后對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)變“翻譯”成通俗易懂的語言，供人們?nèi)パ芯亢退伎肌?/p>

3.4數(shù)據(jù)挖掘的知識(shí)應(yīng)用知識(shí)應(yīng)用是數(shù)據(jù)挖掘的最后一步，通常知識(shí)運(yùn)用就是一種現(xiàn)實(shí)運(yùn)用的過程，通過數(shù)據(jù)準(zhǔn)備、挖掘、研究評(píng)估，最后將結(jié)果數(shù)據(jù)或者規(guī)律用于現(xiàn)實(shí)中，從而體現(xiàn)數(shù)據(jù)的本身的價(jià)值，這就是知識(shí)應(yīng)用的內(nèi)涵。

4大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘的運(yùn)用

4.1市場(chǎng)營(yíng)銷方面市場(chǎng)營(yíng)銷行業(yè)已經(jīng)是目前數(shù)據(jù)挖掘采用最多的行業(yè)，數(shù)據(jù)挖掘的作用主要體現(xiàn)在的對(duì)于消費(fèi)者群體的消費(fèi)習(xí)慣以及行為進(jìn)行解析，從而改變銷售方法，提升產(chǎn)品的銷售量，此外，除了一些購(gòu)物消費(fèi)以外，數(shù)據(jù)挖掘技術(shù)以及拓展到了各大金融行業(yè)，例如保險(xiǎn)行業(yè)、銀行行業(yè)以及電子商務(wù)行業(yè)等等。例如：在市場(chǎng)營(yíng)銷方面，采用數(shù)據(jù)挖掘中的聚類研究，即客戶一系列無規(guī)則、無意識(shí)的行為數(shù)據(jù)，對(duì)他們進(jìn)行識(shí)別，即根據(jù)客戶的忠誠(chéng)度、消費(fèi)意識(shí)進(jìn)行分類，幫助企業(yè)尋找其中的潛在客戶以及固定客戶群。

4.2數(shù)據(jù)挖掘的科學(xué)分析科學(xué)本身就是一個(gè)尋找規(guī)律、發(fā)現(xiàn)規(guī)律以及利用規(guī)律的過程，而且任何科學(xué)研究都是需要基于數(shù)據(jù)作為基礎(chǔ)，所以數(shù)據(jù)挖掘?qū)τ诳茖W(xué)領(lǐng)域也具有重要的意義和價(jià)值，特別是針對(duì)一些未知的事物、領(lǐng)域或者知識(shí)，通過數(shù)據(jù)挖掘可以有效展示數(shù)據(jù)規(guī)則。例如對(duì)于太空行星的分析，遺傳基因DNA的數(shù)據(jù)以及遺傳規(guī)律等。

4.3制造業(yè)與其他行業(yè)不同，制造業(yè)運(yùn)用數(shù)據(jù)挖掘的目的主要是產(chǎn)品質(zhì)量檢查方面，例如研究產(chǎn)品的數(shù)據(jù)，找出其中規(guī)則。分析整體生產(chǎn)流程，解析其中過程，找出影響生產(chǎn)質(zhì)量以及效率的問題，然后通過對(duì)這些問題進(jìn)行解決，提升企業(yè)經(jīng)濟(jì)效益。對(duì)于制造業(yè)而言，數(shù)據(jù)挖掘運(yùn)用主要體現(xiàn)在決策方面，即首先通過數(shù)據(jù)篩選，獲取有用的知識(shí)和數(shù)據(jù)，然后采用決策樹算法，統(tǒng)計(jì)決策，然后選擇其中正確的決策，即像根據(jù)目前產(chǎn)品的流行情況，預(yù)測(cè)目前生產(chǎn)產(chǎn)品的受歡迎度，然后決策生產(chǎn)的時(shí)間以及周期。

4.4教育方面對(duì)于教育行業(yè)來說，最重要的除了教師的教學(xué)方法以外，學(xué)生的學(xué)習(xí)情況、心理動(dòng)向以及教學(xué)評(píng)估都是十分重要的，采用數(shù)據(jù)挖掘技術(shù)，則可以有效將這些數(shù)據(jù)通過分類、篩選以及處理，得出有效的數(shù)據(jù)規(guī)則，供學(xué)校教學(xué)改革時(shí)進(jìn)行參考。例如：教學(xué)質(zhì)量評(píng)估數(shù)據(jù)挖掘模塊的開發(fā)，即將教學(xué)質(zhì)量相關(guān)的項(xiàng)目通過QSLSevrer進(jìn)行整合和存儲(chǔ)，例如教學(xué)準(zhǔn)備、教學(xué)內(nèi)容、教學(xué)方式以及教學(xué)態(tài)度等，最后學(xué)生可以進(jìn)行自行瀏覽并且完成評(píng)估，而評(píng)估結(jié)果則會(huì)上傳系統(tǒng)進(jìn)行最后通過數(shù)據(jù)挖掘，篩選其中有用的信息，再通過Apr1ori算法挖掘其中關(guān)聯(lián)規(guī)律。

5結(jié)語

雖然數(shù)據(jù)挖掘技術(shù)不是一項(xiàng)新興的技術(shù)，但是其還具有較大的研究?jī)r(jià)值與運(yùn)用前景，特別是在特殊領(lǐng)域的運(yùn)用，對(duì)于一系列數(shù)據(jù)進(jìn)行科學(xué)冗雜的處理，然后分析其中規(guī)則價(jià)值，可以有效提升各大行業(yè)的經(jīng)濟(jì)效益。

參考文獻(xiàn)

[1]趙倩倩,程國(guó)建,冀乾宇,戎騰學(xué).大數(shù)據(jù)崛起與數(shù)據(jù)挖掘芻議[J].電腦知識(shí)與技術(shù),2014,11(33):7831-7833.

[2]韓英.淺析大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘與精細(xì)管理[J].成都航空職業(yè)技術(shù)學(xué)院學(xué)報(bào),2013,12(04):63-71.

[3]李平榮.大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].重慶三峽學(xué)院學(xué)報(bào),2014,05(05):45-47.

作者：何波 單位：重慶燃?xì)饧瘓F(tuán)股份有限公司