Hadoop平臺(tái)數(shù)據(jù)挖掘論文范文

本站小編為你精心準(zhǔn)備了Hadoop平臺(tái)數(shù)據(jù)挖掘論文參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

一、hadoop平臺(tái)數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)

針對Hadoop平臺(tái)數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)，我們可以具體的進(jìn)行以下的設(shè)計(jì)：

首先，選一個(gè)合適的編程模型，具體來講，可以采用MapReduce的編程模型，這是一種相對簡單的編程模型，在海量數(shù)據(jù)的計(jì)算處理方面有很大的應(yīng)用。同時(shí)MapReduce具有很大的優(yōu)點(diǎn)，比如：編程簡單、易于擴(kuò)展、容錯(cuò)性比較好等。MapReduce能夠?qū)⒒靵y龐大的的數(shù)據(jù)系統(tǒng)劃分為兩個(gè)階段，即：Map和Reduce階段，而且在處理過程中只需要移動(dòng)計(jì)算的方式即可，利用擁有眾多優(yōu)點(diǎn)的MapReduce編程模型作為設(shè)計(jì)Hadoop平臺(tái)的載體，是非常有前途的選擇。

其次，根據(jù)市場需求來設(shè)計(jì)所需要的前臺(tái)模塊。如今市場上無論各行各業(yè)競爭相對都比較激烈，尤其是在如今計(jì)算機(jī)技術(shù)的飛速發(fā)展，各大高校計(jì)算機(jī)人才的擴(kuò)招，國家提倡高新技術(shù)產(chǎn)業(yè)發(fā)展的大背景下，計(jì)算機(jī)行業(yè)的競爭也是越來越激烈，而想要在日益激烈的市場競爭中爭得一席之地，必須把握市場規(guī)律，掌握市場技巧，要是鏟平有銷路，則必須以客戶需求為導(dǎo)向，從客戶需求出發(fā)，設(shè)計(jì)出滿足客戶需求的產(chǎn)品。因此在設(shè)計(jì)平臺(tái)的時(shí)候必須先進(jìn)行用戶需求分析，在真正了解了客戶需求的基礎(chǔ)上，再進(jìn)行相關(guān)軟件的開發(fā)。

最后，進(jìn)行Hadoop平臺(tái)具體的設(shè)計(jì)。就總體而言，在設(shè)計(jì)基于Hadoop平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)的時(shí)候可以采用自上而下分層的思維模式，利用上層的系統(tǒng)來調(diào)用下層的系統(tǒng)。并且依前段所言，要根據(jù)用戶的具體需求來分層設(shè)計(jì)，且設(shè)計(jì)的各層之間的相互獨(dú)立的，通過調(diào)用來實(shí)現(xiàn)數(shù)據(jù)間的傳輸與通信，之所以采用這種模式是因?yàn)檫@種模式具有很好的擴(kuò)展性。

在設(shè)計(jì)基于Hadoop平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)時(shí)，主要包括：交互層、業(yè)務(wù)應(yīng)用層、數(shù)據(jù)挖掘?qū)尤齻€(gè)部分，具體來講：交互層主要的職責(zé)是完成用戶與系統(tǒng)之間信息的傳遞，可以稱為其交流的窗口，交互層能夠提供清晰形象的圖像，利用直觀的圖像信息將內(nèi)容呈獻(xiàn)給用戶。業(yè)務(wù)應(yīng)用層主要進(jìn)行調(diào)度、處理、控制用戶層的業(yè)務(wù)，通過調(diào)用數(shù)據(jù)挖掘算法層來進(jìn)行用戶層業(yè)務(wù)的處理。數(shù)據(jù)挖掘?qū)幼鳛檎麄€(gè)系統(tǒng)的核心，利用并行的方式完成其任務(wù)，最后把最終結(jié)果返回到業(yè)務(wù)應(yīng)用層中。

二、總結(jié)

本文站在如今互聯(lián)網(wǎng)迅速發(fā)展，社會(huì)各界數(shù)據(jù)量越來越龐大的現(xiàn)實(shí)情況下，通過分析Hadoop平臺(tái)的基本情況以及云計(jì)算的應(yīng)用與特點(diǎn)，設(shè)計(jì)一個(gè)基于Hadoop平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)來完成企業(yè)云計(jì)算的實(shí)行，最終為處理龐大冗雜的數(shù)據(jù)提供一個(gè)切實(shí)可行的宏觀方案。

作者：黃銘陳明單位：四川工商職業(yè)技術(shù)學(xué)院信息工程系