本站小編為你精心準備了新浪微博的數(shù)據(jù)挖掘研究參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

1概述

隨著Internet的迅猛發(fā)展，Web已經(jīng)成為全球傳播與共享科研、信息社會的發(fā)展，人們的生活已經(jīng)離不開網(wǎng)絡，無論此時此刻你正在通過電腦終端還是移動終端來進行網(wǎng)絡之旅，新浪微博的順勢而生、龐大的用戶體系及簡單方便的微博書寫及轉(zhuǎn)發(fā)評論已經(jīng)成為人們分享信息獲取社會動態(tài)、了解名人偶像和朋友的重要工具。社會的發(fā)展使人們對信息獲取的方式變得越來越挑剔，單純的文本信息已經(jīng)滿足不了人們的視覺體驗。于是各種信息可視化工具和JavaScript框架越來越得受到人們的喜愛，尤其以D3.js這種js框架慢慢成為了網(wǎng)頁可視化的主流，同時百度開發(fā)的Echarts以其高度整合性和強大的報表制作能力也得到了大家的青睞。為了解決人們追求通過簡單、高效的信息獲取信息，本文采用新浪微博作為數(shù)據(jù)源入口，通過網(wǎng)絡挖掘技術(shù)實現(xiàn)新浪微博信息挖掘和本地儲存，利用可視化框架對分析后的用戶實現(xiàn)信息展示。具有實際應用意義的小型數(shù)據(jù)挖掘可視化系統(tǒng)，滿足了人們對數(shù)據(jù)信息獲得的直觀性需求。

2設計理念和架構(gòu)

每天都會有大量的用戶訪問著新浪微博的頁面，期間包含著各式各樣的網(wǎng)絡爬蟲，人們不斷地從這一社交網(wǎng)絡資源庫中爬取著信息，信息化社會下使得信息成為公司無形的財產(chǎn)，而我們平時的研究獲取只停留在信息處理的某一部分：或者是數(shù)據(jù)挖掘，或者是信息可視化。而沒有很好的實現(xiàn)一個信息挖掘及可視化展示的系統(tǒng)項目。于是設計了本套系統(tǒng)，旨在實現(xiàn)具有實際應用意義的小型數(shù)據(jù)挖掘可視化系統(tǒng)。我們可以通過模擬用戶登錄的方式用機器代替人的行為來把瀏覽過的網(wǎng)頁信息抓取下來。用戶啟動系統(tǒng)時首先會通過數(shù)據(jù)庫加載博主信息，用戶可以點擊查看已有博主信息，這時通過通過數(shù)據(jù)庫查詢出博主信息檔案庫錯在位置，通過讀取CSV文件進行信息加載。當用戶通過博主Uid進行分析時同樣會先查詢是否存在此博主的個人信息，如果存在，則返回，如果不存在則進行網(wǎng)絡抓取分析和儲存。本系統(tǒng)結(jié)構(gòu)如圖2.1所示。項目體系采用MVC架構(gòu)實現(xiàn)整個JavaWeb項目布局，通過Hibernate作為數(shù)據(jù)持久層框架，使用HttpClient進行模擬登錄和數(shù)據(jù)獲取，采用本地數(shù)據(jù)庫和文本儲存兩種形式對數(shù)據(jù)進行保存，通過D3.js等可視化工具進行視圖展示。

3基于模擬瀏覽器技術(shù)的微博數(shù)據(jù)采集

模擬瀏覽器行為，即指通過程序設計的方式，將正常的人為操作瀏覽器訪問web站點的行業(yè)進行程序化，從而獲得和人為去瀏覽web站點相同的數(shù)據(jù)。而通過模擬登錄技術(shù)的優(yōu)點主要包括兩點：（1）由于是模擬人為的操作流程，故人們通過瀏覽器看到的內(nèi)容，都可以通過這種式獲取，而我們分析挖掘的內(nèi)容恰恰是人們所能看到的數(shù)據(jù)，看不到的也沒有分析的價值，故它可以滿足不同用戶對數(shù)據(jù)的多樣經(jīng)需求，增加了數(shù)據(jù)獲取的靈活性。（2）它不受限于API方式的請求頻率，只要設計合理、帶寬充分就可以分布式、多線程并行抓取所需數(shù)據(jù)，從而達到我們對微據(jù)分析的數(shù)據(jù)量的要求。于是有了以下設計定位和思路：數(shù)據(jù)分析的前提是獲得數(shù)據(jù)源，傳統(tǒng)的網(wǎng)頁信息抓取只是簡單的爬取，而新浪微博數(shù)據(jù)的獲取需要使用網(wǎng)頁的登錄Cookie，這樣我們首先需要解決模擬登錄，通過模擬登錄來拿到我們需要進行站內(nèi)訪問的Cookie值，這樣我們再使用我們的網(wǎng)頁爬取工具就能夠?qū)崿F(xiàn)新浪微博的數(shù)據(jù)挖掘。

4微博信息提取和處理

數(shù)據(jù)分析是通過對大量的原始數(shù)據(jù)采用各種數(shù)段來提取對我們有價值的數(shù)據(jù)字段，從而進一步的對這些有價值的數(shù)據(jù)字段進行加工和傳播來發(fā)揮數(shù)據(jù)信息的最大價值性。自然語言處理是數(shù)據(jù)處理的一個重要環(huán)節(jié)，而分詞又被稱為是自然語言處理的入口。我們可以通過對博文的分詞統(tǒng)計獲得用戶的話題偏好。

5數(shù)據(jù)可視化展示

數(shù)據(jù)可視化是通過圖像來顯示數(shù)據(jù)的方式，把數(shù)據(jù)通過合理的設計及結(jié)合，實現(xiàn)動態(tài)加載，相互關(guān)聯(lián)和顯示，使得圖像更直觀的表現(xiàn)出數(shù)據(jù)的特點，讓人們更輕松和快捷的獲得原本在文本中比較冗余和乏味的數(shù)據(jù)。數(shù)據(jù)可視化技術(shù)的處理過程需要經(jīng)過數(shù)據(jù)的獲得，數(shù)據(jù)信息的開發(fā)及分析和最終的數(shù)據(jù)可視化展示。

6新浪微博數(shù)據(jù)挖掘及可視化系統(tǒng)總體設計

本課題設計的基于MVC架構(gòu)的微博數(shù)據(jù)挖掘和分析系統(tǒng)，采用BS架構(gòu)模式，實現(xiàn)多元化信息處理和保存，提供本地數(shù)據(jù)接口和在線抓取分析功能，采用了數(shù)據(jù)可視化的形式對微博用戶進行數(shù)據(jù)分析展示，提供了一整套的數(shù)據(jù)挖掘及可視化平臺，系統(tǒng)設計合理，可以通過本系統(tǒng)對微博主的數(shù)據(jù)視圖對其進行初步了解。系統(tǒng)兼實用性和趣味性于一體。

7結(jié)論

本項目通過對新浪微博登錄過程的分析，使用HttpClient實現(xiàn)新浪微博網(wǎng)頁的抓取，使用正則匹配方式實現(xiàn)數(shù)據(jù)段的獲取并進行處理和數(shù)據(jù)儲存。再使用D3.js，Echart等對儲存的數(shù)據(jù)進行可視化的轉(zhuǎn)化及瀏覽，以JavaWeb的形式實現(xiàn)了數(shù)據(jù)挖掘、數(shù)據(jù)儲存、數(shù)據(jù)可視化顯示的整套B/S系統(tǒng)。經(jīng)反復測試、分析和對比，證明了本系統(tǒng)的實用性和娛樂趣味性。大數(shù)據(jù)時代已經(jīng)到來，人們不再拘泥于一句或者一段話，而是希望使用最高效的方式獲得最直觀的答案，數(shù)據(jù)可視化，勢不可擋。

作者：趙捷 譚國強 單位：國家保密科技測評中心分中心 北京百分點科技有限公司