數(shù)據(jù)挖掘技術(shù)范文

本站小編為你精心準(zhǔn)備了數(shù)據(jù)挖掘技術(shù)參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫(xiě)作靈感。歡迎深入閱讀并收藏。

1數(shù)據(jù)挖掘概念

數(shù)據(jù)挖掘(DataMining，DM)，是隨著數(shù)據(jù)庫(kù)和人工智能發(fā)展起來(lái)的新興的信息處理技術(shù)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程，其主要特點(diǎn)是對(duì)數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，并從中提取輔助決策的關(guān)鍵性數(shù)據(jù)。它可幫助決策者分析歷史數(shù)據(jù)及當(dāng)前數(shù)據(jù)，并從中發(fā)現(xiàn)隱藏的關(guān)系和模式，進(jìn)而預(yù)測(cè)未來(lái)可能發(fā)生的行為。數(shù)據(jù)挖掘是一門(mén)涉及面很廣的交叉性新興學(xué)科，涉及到數(shù)據(jù)庫(kù)、人工智能、數(shù)理統(tǒng)計(jì)、可視化、并行計(jì)算等領(lǐng)域。

2數(shù)據(jù)挖掘技術(shù)

2.1關(guān)聯(lián)規(guī)則方法

關(guān)聯(lián)規(guī)則是一種簡(jiǎn)單，實(shí)用的分析規(guī)則，描述了一個(gè)事物中某些屬性同時(shí)出現(xiàn)的規(guī)律和模式，是數(shù)據(jù)挖掘中最成熟的主要技術(shù)之一。大多數(shù)關(guān)聯(lián)規(guī)則挖掘算法能夠無(wú)遺漏發(fā)現(xiàn)隱藏在所挖掘數(shù)據(jù)中的所有關(guān)聯(lián)關(guān)系，所挖掘出的關(guān)聯(lián)規(guī)則量往往非常巨大，但是。并不是所有通過(guò)關(guān)聯(lián)得到的屬性之間的關(guān)系都有實(shí)際應(yīng)用價(jià)值，對(duì)這些關(guān)聯(lián)規(guī)則進(jìn)行有效的評(píng)價(jià)。篩選出用戶真正感興趣的。有意義的關(guān)聯(lián)規(guī)則尤為重要。

2.2分類和聚類方法

分類就是假定數(shù)據(jù)庫(kù)中的每個(gè)對(duì)象屬于一個(gè)預(yù)先給定的類。從而將數(shù)據(jù)庫(kù)中的數(shù)據(jù)分配到給定的類中。而聚類分析是根據(jù)所選樣本間關(guān)聯(lián)的標(biāo)準(zhǔn)將其劃分成幾個(gè)組，同組內(nèi)的樣本具有較高的相似度，不同組的則相異。分類和聚類的區(qū)別在于分類事先知道類別數(shù)和各類的典型特征，而聚類則事先不知道。聚類方法適合于探討樣本間的內(nèi)部關(guān)系，從而對(duì)樣本結(jié)構(gòu)做出合理的評(píng)價(jià)。

2.3數(shù)據(jù)統(tǒng)計(jì)方法

使用這些方法一般首先建立一個(gè)數(shù)據(jù)模型或統(tǒng)計(jì)模型，然后根據(jù)這種模型提取有關(guān)的知識(shí)。傳統(tǒng)的統(tǒng)計(jì)學(xué)為數(shù)據(jù)挖掘提供了許多判別和回歸分析方法。貝葉斯推理、回歸分析、方差分析等技術(shù)是許多挖掘應(yīng)用中有力的工具之一。

2.4神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)元網(wǎng)絡(luò)，具有非線形映射特性、信息的分布存儲(chǔ)、并行處理和全局集體的作用、高度的自學(xué)習(xí)、自組織和自適應(yīng)能力的種種優(yōu)點(diǎn)。這些優(yōu)點(diǎn)使得神經(jīng)元網(wǎng)絡(luò)非常適合解決數(shù)據(jù)挖掘的問(wèn)題。因此近年來(lái)越來(lái)越受到人們的關(guān)注。典型的神經(jīng)網(wǎng)絡(luò)模型主要分3大類；用于分類、預(yù)測(cè)和模式識(shí)別的前饋式神經(jīng)網(wǎng)絡(luò)模型；用于聯(lián)想記憶和優(yōu)化計(jì)算的反饋式神經(jīng)網(wǎng)絡(luò)模型；用于聚類的自組織映射方法。

2.5決策樹(shù)方法

決策樹(shù)學(xué)習(xí)是一種通過(guò)逼近離散值日標(biāo)函數(shù)的方法，把實(shí)例從根結(jié)點(diǎn)排列到某個(gè)葉子結(jié)點(diǎn)來(lái)分類實(shí)例。葉子結(jié)點(diǎn)即為實(shí)例所屬的分類，利用信息論中的互信息(信息增益)尋找數(shù)據(jù)庫(kù)中具有最大信息量的字段。建立決策樹(shù)的一個(gè)結(jié)點(diǎn)，再根據(jù)字段的不同取值建立樹(shù)的分支；在每個(gè)分枝子集中，重復(fù)建立樹(shù)的下層結(jié)點(diǎn)和分支的過(guò)程，即可建立決策樹(shù)。

2.6粗糙集

粗糙集(RoughSet)能夠在缺少關(guān)于數(shù)據(jù)先驗(yàn)知識(shí)的情況下，只以考察數(shù)據(jù)的分類能力為基礎(chǔ)，解決模糊或不確定數(shù)據(jù)的分析和處理問(wèn)題。粗糙集用于從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)分類規(guī)則的基本思想是將數(shù)據(jù)庫(kù)中的屬性分為條件屬性和結(jié)論屬性，對(duì)數(shù)據(jù)庫(kù)中的元組根據(jù)備個(gè)屬性不同的屬性值分成相應(yīng)的子集，然后對(duì)條件屬性劃分的子集與結(jié)論屬性劃分的子集之間上下近似關(guān)系生成判定規(guī)則。粗糙集理論可以應(yīng)用于數(shù)據(jù)挖掘中的分類、發(fā)現(xiàn)不準(zhǔn)確數(shù)據(jù)或噪聲數(shù)據(jù)內(nèi)在的結(jié)構(gòu)聯(lián)系。3數(shù)據(jù)挖掘過(guò)程

按工作流程包括以下幾個(gè)步驟：

(1)數(shù)據(jù)準(zhǔn)備：一般存儲(chǔ)在數(shù)據(jù)庫(kù)系統(tǒng)中的是長(zhǎng)期積累的大量的數(shù)據(jù)，往往不適合利用這些進(jìn)行處理，需要做數(shù)據(jù)準(zhǔn)備工作，一般包括數(shù)據(jù)的選擇、凈化、推測(cè)、轉(zhuǎn)換、數(shù)據(jù)縮減，通過(guò)這些工作生成數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)準(zhǔn)備是否做好將影響到數(shù)據(jù)挖掘的效率和準(zhǔn)確度以及最終模式的有效性。

(2)數(shù)據(jù)挖掘：在前面步驟所獲得的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘，可以單獨(dú)利用也可以綜合利用各種數(shù)據(jù)挖掘方法對(duì)數(shù)據(jù)進(jìn)行分析，根據(jù)數(shù)據(jù)挖掘的目的。選定數(shù)據(jù)挖掘算法，選擇某個(gè)特定數(shù)據(jù)挖掘算法(如匯總、分類、回歸、聚類等)用于搜索數(shù)據(jù)中的模式。

(3)結(jié)果的分析和同化；上面得到的模式模型，有可能是沒(méi)有實(shí)際意義或沒(méi)有使用價(jià)值的。因此需要評(píng)估，確定哪些是有效的、有用的模式。評(píng)估可以根據(jù)用戶多年的經(jīng)驗(yàn)，有些模式也可以直接用數(shù)據(jù)來(lái)檢驗(yàn)其準(zhǔn)確性。對(duì)數(shù)據(jù)挖掘出的結(jié)果進(jìn)行解釋和評(píng)價(jià)，轉(zhuǎn)換成為能夠最終被用戶理解的知識(shí)。其具體的挖掘過(guò)程如圖1：

4數(shù)據(jù)挖掘的應(yīng)用

4.1在金融領(lǐng)域中的應(yīng)用

多數(shù)銀行和金融機(jī)構(gòu)都提供豐富多樣的儲(chǔ)蓄、信用、投資、保險(xiǎn)等服務(wù)。他們產(chǎn)生的金融數(shù)據(jù)通常比較完整、可靠，但是數(shù)據(jù)量是非常巨大的，數(shù)據(jù)挖掘技術(shù)可以將這些龐雜的信息充分利用：如采用多維數(shù)據(jù)分析來(lái)分析這些數(shù)據(jù)的一般特性，觀察金融市場(chǎng)的變化趨勢(shì)；使用數(shù)據(jù)可視化、分類、聚類分析、序列模式分析等工具偵破洗黑錢(qián)和其他金融犯罪行為；對(duì)于預(yù)防信用卡欺詐行為。可以利用數(shù)據(jù)挖掘?qū)蛻粜抛u(yù)進(jìn)行分析。

4.2在零售業(yè)中的應(yīng)用

在零售業(yè)中，數(shù)據(jù)挖掘的運(yùn)用是比較成功的。由于MIS系統(tǒng)在商業(yè)的普遍使用，特別是條碼技術(shù)的使用。零售業(yè)積累了大量的銷售數(shù)據(jù)，如顧客購(gòu)買(mǎi)史記錄、貨物進(jìn)出、消費(fèi)與服務(wù)記錄等等。零售數(shù)據(jù)挖掘有助于劃分顧客群體，使用分類技術(shù)和聚類技術(shù)。可以更精確地挑選出潛在的顧客；識(shí)別顧客購(gòu)買(mǎi)行為，發(fā)現(xiàn)顧客購(gòu)買(mǎi)模式和趨勢(shì)，進(jìn)行關(guān)聯(lián)分析，以便更好地進(jìn)行貨架擺設(shè)；同時(shí)可以為經(jīng)營(yíng)管理人員提供正確的決策手段，這樣對(duì)促進(jìn)銷售及提高競(jìng)爭(zhēng)力是大有幫助

4.3在科學(xué)研究中應(yīng)用

計(jì)算科學(xué)是現(xiàn)代科學(xué)發(fā)展的一個(gè)重要標(biāo)志。計(jì)算科學(xué)工作者主要和數(shù)據(jù)打交道，每天要分析大量的實(shí)驗(yàn)或觀測(cè)數(shù)據(jù)。隨著先進(jìn)的科學(xué)數(shù)據(jù)收集工具的使用，如觀測(cè)衛(wèi)量、遙感器、DNA分子技術(shù)等，數(shù)據(jù)量更是龐大，因此必須摒棄傳統(tǒng)的數(shù)據(jù)分析工具，采用有強(qiáng)大的智能型自動(dòng)數(shù)據(jù)分析工具。