Hadoop平臺數據挖掘論文范文
本站小編為你精心準備了Hadoop平臺數據挖掘論文參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。
針對Hadoop平臺數據挖掘技術的實現，我們可以具體的進行以下的設計：
首先，選一個合適的編程模型，具體來講，可以采用MapReduce的編程模型，這是一種相對簡單的編程模型，在海量數據的計算處理方面有很大的應用。同時MapReduce具有很大的優點，比如：編程簡單、易于擴展、容錯性比較好等。MapReduce能夠將混亂龐大的的數據系統劃分為兩個階段，即：Map和Reduce階段，而且在處理過程中只需要移動計算的方式即可，利用擁有眾多優點的MapReduce編程模型作為設計Hadoop平臺的載體，是非常有前途的選擇。
其次，根據市場需求來設計所需要的前臺模塊。如今市場上無論各行各業競爭相對都比較激烈，尤其是在如今計算機技術的飛速發展，各大高校計算機人才的擴招，國家提倡高新技術產業發展的大背景下，計算機行業的競爭也是越來越激烈，而想要在日益激烈的市場競爭中爭得一席之地，必須把握市場規律，掌握市場技巧，要是鏟平有銷路，則必須以客戶需求為導向，從客戶需求出發，設計出滿足客戶需求的產品。因此在設計平臺的時候必須先進行用戶需求分析，在真正了解了客戶需求的基礎上，再進行相關軟件的開發。
最后，進行Hadoop平臺具體的設計。就總體而言，在設計基于Hadoop平臺的數據挖掘系統的時候可以采用自上而下分層的思維模式，利用上層的系統來調用下層的系統。并且依前段所言，要根據用戶的具體需求來分層設計，且設計的各層之間的相互獨立的，通過調用來實現數據間的傳輸與通信，之所以采用這種模式是因為這種模式具有很好的擴展性。
在設計基于Hadoop平臺的數據挖掘系統時，主要包括：交互層、業務應用層、數據挖掘層三個部分，具體來講：交互層主要的職責是完成用戶與系統之間信息的傳遞，可以稱為其交流的窗口，交互層能夠提供清晰形象的圖像，利用直觀的圖像信息將內容呈獻給用戶。業務應用層主要進行調度、處理、控制用戶層的業務，通過調用數據挖掘算法層來進行用戶層業務的處理。數據挖掘層作為整個系統的核心，利用并行的方式完成其任務，最后把最終結果返回到業務應用層中。
二、總結
本文站在如今互聯網迅速發展，社會各界數據量越來越龐大的現實情況下，通過分析Hadoop平臺的基本情況以及云計算的應用與特點，設計一個基于Hadoop平臺的數據挖掘系統來完成企業云計算的實行，最終為處理龐大冗雜的數據提供一個切實可行的宏觀方案。
作者：黃銘陳明單位：四川工商職業技術學院信息工程系