本站小編為你精心準備了數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要：

隨著科技的進一步發(fā)展，已經(jīng)帶動著各大領域的創(chuàng)新和發(fā)展。而我國在近年來，城市信息化的普及也在不斷推進，網(wǎng)絡技術的改革和發(fā)展也顯得格外重要。而特別很多企業(yè)對于自身的信息和數(shù)據(jù)儲存、共享以及處理都格外注重，要求技術本身要包含安全性、便捷性以及可靠性。，而是在大數(shù)據(jù)提出后，數(shù)據(jù)挖掘技術已經(jīng)成為了一種新的主流技術，而研究數(shù)據(jù)挖掘技術的理念、方法以及應用領域，將對我國工程施工領域的未來帶來更多的機遇和挑戰(zhàn)。

關鍵詞：

大數(shù)據(jù)時代數(shù)據(jù)挖掘技術分析和研究運用數(shù)據(jù)挖掘技術，也被稱為數(shù)字處理技術，顧名思義，就是對于目前各大企業(yè)的內部數(shù)據(jù)，進行整理、調整、挖掘實施以及評估等一系列處理操作，其主要的目標是保證全局數(shù)據(jù)都能夠得到充分的優(yōu)化。而大數(shù)據(jù)則是區(qū)分于以往抽樣調查的方法，而是對于全局數(shù)據(jù)進行分析，從而保證分析的全面以及完成。而大數(shù)據(jù)技術也包含4個優(yōu)點，即高數(shù)量、高速度、多元化以及高價值。而筆者將通過本文，就大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用進行分析和探討。

1相關概念的簡介

1.1大數(shù)據(jù)的概念關于大數(shù)據(jù)的理念提出，可以追溯到麥肯錫研究院于2011年的《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個新領域》，其中闡述的觀念就涵蓋數(shù)據(jù)方面，即數(shù)據(jù)已經(jīng)融入到了人們的日常生活中，也是生產(chǎn)運作的一個重要因素。而大數(shù)據(jù)的運用，對于消費以及生產(chǎn)水平都是一種有效的提升提升，根據(jù)美國曾經(jīng)的《大數(shù)據(jù)研究和發(fā)展倡議》資料，截至2011年一年，全球總的數(shù)據(jù)就增加了1.8ZB,而進行人均計算，相當于每個人都具有至少200GB的數(shù)據(jù)資源，而且這一數(shù)據(jù)還在呈現(xiàn)出日益增長的趨勢，根據(jù)統(tǒng)計計算，這一數(shù)值將會按照約為50%/年的速度增長。

1.2數(shù)據(jù)挖掘作為一個新型學科，數(shù)據(jù)挖掘技術源于20世紀的80年代，那時其效用與目前存在本質差異，科學家最初研究大數(shù)據(jù)，主要是用于一些人工智能技術的開發(fā)。簡而言之，技術層面上，數(shù)據(jù)挖掘就是一個對數(shù)據(jù)進行發(fā)掘創(chuàng)新的過程，即要求目標數(shù)據(jù)具有隱蔽性、挖掘價值以及挖掘潛力，而且需要操作者在一堆冗雜的、隨機的、模糊的數(shù)據(jù)庫中進行挖掘；而對于商業(yè)層面上來說，數(shù)據(jù)挖掘就是在一些大量的數(shù)據(jù)信息中獲得規(guī)律以及價值信息，從而為決策提供重要的知識憑據(jù)。

2數(shù)據(jù)挖掘的研究手段

對于數(shù)據(jù)挖掘而言，不同的研究手段將是其開展的重要基礎，而研究手段的決定，主要需要依靠科學的計算為依據(jù)，分析和對比數(shù)據(jù)中存在的一些不為人知的規(guī)則，然后通過研究手段的改變去應付不同的問題，對于實際操作來說，就是針對不同的數(shù)據(jù)找出不同的解決方法，而常見數(shù)據(jù)挖掘的研究手段主要可以分為四類，即聚類研究、分類和預測以及關聯(lián)研究。

2.1聚類研究將抽選的數(shù)據(jù)或者對象的庫進行類似“分類”的聚類劃分，然后再將其中的相同或者相近的數(shù)據(jù)劃分為一個組類，由此建立起多個組類開展研究的過程。整個過程突出的是一種無知識基礎、無監(jiān)督管控的學習過程。而整個過程由于分類研究有本質的差異，因為聚類研究在事先根本無法得到目標的重要屬性數(shù)據(jù)，而這種分析方法主要可以用于多個區(qū)域，例如心理、統(tǒng)計、醫(yī)藥、銷售以及數(shù)據(jù)識別等，而根據(jù)其隸屬度的取值，有能將其分為兩種研究方法，即硬聚類與模糊聚類，對于前者來說，就是將目標按照影響標準進行劃分，即目標如果屬于某類，必定不屬于其他類；而對于后者來說，主要取決與隸屬度的取值不同。而劃分過程可能會將目標劃分入多個聚類中。此外聚類的計算方法也能分為多種，即包含密度算法、層次算法、劃分算法、網(wǎng)格算法以及模型算法等等。

2.2分類與估測對于分類與數(shù)值估測來說，都是屬于是問題預測方式，其中前者要求估測各個類中的標號，這些標號都是分散且無規(guī)律的，而估測方法可以采用函數(shù)模型，要求模型類型為連續(xù)值函數(shù)。分類估測作為數(shù)據(jù)挖掘的起始工作，主要需要反應已經(jīng)獲知的訓練數(shù)據(jù)庫的特點，從而根據(jù)以上基礎完成其中對每一類的情況以及特點完成相應的分類操作，而整個操作也是受到督促的，對于一般的分類算法可以有決策樹、粗糙集、貝葉斯、遺傳等算法，而估測主要是基于分類以及回歸基礎，估測數(shù)據(jù)將來的動向，即包含局勢外推、時間序列以及回歸分析幾類。

2.3關聯(lián)研究關聯(lián)研究是源于自然生物間微妙的關系，而某事情的發(fā)生和發(fā)展也會引發(fā)連鎖的事情發(fā)展，也就類似所謂“蝴蝶效應”的定義。而關聯(lián)研究的研究目標即是研究物與物之間的微妙關系，包含一些依賴關系等等，從而找出其中的規(guī)則，基于規(guī)則，分析將來的動向。以購物為例，分析購物者的心理規(guī)律以及習慣，可以從他們對于購物的一系列表現(xiàn)，例如購物籃的物品類型、放置規(guī)律、購物消費理念、購物環(huán)境需求等等，而掌握這些規(guī)律，足以讓一個銷售企業(yè)獲得巨大的消費市場以及商機。

3大數(shù)據(jù)時代的數(shù)據(jù)挖掘的運用

3.1數(shù)據(jù)準備準備流程需要依附于研究者已經(jīng)建立起長期且豐富數(shù)據(jù)資源的數(shù)據(jù)庫，而根據(jù)這些無規(guī)則的原始數(shù)據(jù)進行相應的挖掘前的準備的工作，例如數(shù)據(jù)的處理、擇取、清除、推敲以及轉變，作為基礎的流程，數(shù)據(jù)準備操作在整個流程中起到重要的基礎作用。

3.2數(shù)據(jù)挖掘開展數(shù)據(jù)挖掘操作，需要根據(jù)挖掘對象的情況擇選最優(yōu)的計算方法，從而獲取其中的規(guī)律性，例如對應采用決策樹算法、分類算法、神經(jīng)網(wǎng)絡算法以及Apriori算法等。

3.3數(shù)據(jù)挖掘的模式評估研究模式評估的對象主要是通過數(shù)據(jù)挖掘處理過程數(shù)據(jù)，而評估流程是了解、研究且取得其中數(shù)據(jù)的規(guī)則，然后對數(shù)據(jù)進行轉變“翻譯”成通俗易懂的語言，供人們去研究和思考。

3.4數(shù)據(jù)挖掘的知識應用知識應用是數(shù)據(jù)挖掘的最后一步，通常知識運用就是一種現(xiàn)實運用的過程，通過數(shù)據(jù)準備、挖掘、研究評估，最后將結果數(shù)據(jù)或者規(guī)律用于現(xiàn)實中，從而體現(xiàn)數(shù)據(jù)的本身的價值，這就是知識應用的內涵。

4大數(shù)據(jù)時代的數(shù)據(jù)挖掘的運用

4.1市場營銷方面市場營銷行業(yè)已經(jīng)是目前數(shù)據(jù)挖掘采用最多的行業(yè)，數(shù)據(jù)挖掘的作用主要體現(xiàn)在的對于消費者群體的消費習慣以及行為進行解析，從而改變銷售方法，提升產(chǎn)品的銷售量，此外，除了一些購物消費以外，數(shù)據(jù)挖掘技術以及拓展到了各大金融行業(yè)，例如保險行業(yè)、銀行行業(yè)以及電子商務行業(yè)等等。例如：在市場營銷方面，采用數(shù)據(jù)挖掘中的聚類研究，即客戶一系列無規(guī)則、無意識的行為數(shù)據(jù)，對他們進行識別，即根據(jù)客戶的忠誠度、消費意識進行分類，幫助企業(yè)尋找其中的潛在客戶以及固定客戶群。

4.2數(shù)據(jù)挖掘的科學分析科學本身就是一個尋找規(guī)律、發(fā)現(xiàn)規(guī)律以及利用規(guī)律的過程，而且任何科學研究都是需要基于數(shù)據(jù)作為基礎，所以數(shù)據(jù)挖掘對于科學領域也具有重要的意義和價值，特別是針對一些未知的事物、領域或者知識，通過數(shù)據(jù)挖掘可以有效展示數(shù)據(jù)規(guī)則。例如對于太空行星的分析，遺傳基因DNA的數(shù)據(jù)以及遺傳規(guī)律等。

4.3制造業(yè)與其他行業(yè)不同，制造業(yè)運用數(shù)據(jù)挖掘的目的主要是產(chǎn)品質量檢查方面，例如研究產(chǎn)品的數(shù)據(jù)，找出其中規(guī)則。分析整體生產(chǎn)流程，解析其中過程，找出影響生產(chǎn)質量以及效率的問題，然后通過對這些問題進行解決，提升企業(yè)經(jīng)濟效益。對于制造業(yè)而言，數(shù)據(jù)挖掘運用主要體現(xiàn)在決策方面，即首先通過數(shù)據(jù)篩選，獲取有用的知識和數(shù)據(jù)，然后采用決策樹算法，統(tǒng)計決策，然后選擇其中正確的決策，即像根據(jù)目前產(chǎn)品的流行情況，預測目前生產(chǎn)產(chǎn)品的受歡迎度，然后決策生產(chǎn)的時間以及周期。

4.4教育方面對于教育行業(yè)來說，最重要的除了教師的教學方法以外，學生的學習情況、心理動向以及教學評估都是十分重要的，采用數(shù)據(jù)挖掘技術，則可以有效將這些數(shù)據(jù)通過分類、篩選以及處理，得出有效的數(shù)據(jù)規(guī)則，供學校教學改革時進行參考。例如：教學質量評估數(shù)據(jù)挖掘模塊的開發(fā)，即將教學質量相關的項目通過QSLSevrer進行整合和存儲，例如教學準備、教學內容、教學方式以及教學態(tài)度等，最后學生可以進行自行瀏覽并且完成評估，而評估結果則會上傳系統(tǒng)進行最后通過數(shù)據(jù)挖掘，篩選其中有用的信息，再通過Apr1ori算法挖掘其中關聯(lián)規(guī)律。

5結語

雖然數(shù)據(jù)挖掘技術不是一項新興的技術，但是其還具有較大的研究價值與運用前景，特別是在特殊領域的運用，對于一系列數(shù)據(jù)進行科學冗雜的處理，然后分析其中規(guī)則價值，可以有效提升各大行業(yè)的經(jīng)濟效益。

參考文獻

[1]趙倩倩,程國建,冀乾宇,戎騰學.大數(shù)據(jù)崛起與數(shù)據(jù)挖掘芻議[J].電腦知識與技術,2014,11(33):7831-7833.

[2]韓英.淺析大數(shù)據(jù)時代的數(shù)據(jù)挖掘與精細管理[J].成都航空職業(yè)技術學院學報,2013,12(04):63-71.

[3]李平榮.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術與應用[J].重慶三峽學院學報,2014,05(05):45-47.

作者：何波 單位：重慶燃氣集團股份有限公司