24小時(shí)論文定制熱線(xiàn)
24小時(shí)論文定制熱線(xiàn)
摘要
近年來(lái)，電子商務(wù)、社交網(wǎng)絡(luò )、移動(dòng)智能技術(shù)在不斷進(jìn)步，社會(huì )進(jìn)入數據時(shí)代。電腦端、手機端的數據資源已經(jīng)成為企業(yè)的核心資源和核心競爭力，因此，充分利用這些數據資源對用戶(hù)行為進(jìn)行統計分析，通過(guò)直觀(guān)的數字或趨勢圖表吸收數據信息，來(lái)提高服務(wù)價(jià)值、協(xié)助管理層人員決策，成為重中之重。然而，現有的數據分析系統存在數據集成復雜、不易于閱讀和編碼、數據傳輸效率低等缺點(diǎn)。針對這些不足，本文設計并實(shí)現了基于Java Web的數據分析系統。
本文對背景與意義、前人研究現狀進(jìn)行分析，論述系統開(kāi)發(fā)過(guò)程中所需的關(guān)鍵理論和技術(shù)，設計并編碼完成了一個(gè)數據分析系統，以及對數據進(jìn)行采集、分析以及可視化。根據軟件開(kāi)發(fā)生命周期的過(guò)程，結合Java Web框架、定時(shí)任務(wù)框架Quartz、消息隊列Kafka、Zookeeper等Web開(kāi)發(fā)技術(shù)，從系統的可行性分析、模塊的需求分析到各個(gè)功能模塊業(yè)務(wù)邏輯的設計，再到具體編碼實(shí)現，完成了數據采集、數據分析以及數據可視化三大模塊的設計與實(shí)現，并對于功能、性能、安全這三方面進(jìn)行黑盒測試。
同時(shí)為實(shí)現信息的統-收集、提取和整理，本文詳細設計并編碼實(shí)現了基于數據字典的統一消息體， 解決數據集成復雜問(wèn)題。并對消息隊列中的消息檢索算法進(jìn)行研究，在普通二分查找的基礎上進(jìn)行改進(jìn)，采用離所求值的距離差替換之前從中間切分的步驟，完成算法實(shí)現，解決數據傳輸效率低的缺陷。然后從數學(xué)推理、查找次數等多個(gè)方面對改進(jìn)后的消息檢索算法和現有算法進(jìn)行了性能對比。最終在數學(xué)推理上，改進(jìn)后的算法降低了時(shí)間復雜度。在查找次數上，查找次數降低，大大減少查找時(shí)間，效率更高效。最后，對于現有系統消息類(lèi)型采用文本、字符串、XML等類(lèi)型不易于閱讀和編碼，本系統采用輕量級的數據交換格式JSON（JavaScript Object Notation）封裝信息，減少了解析時(shí)帶來(lái)的性能和兼容性問(wèn)題。
關(guān)鍵詞：數據分析，軟件開(kāi)發(fā)，生命周期，統一消息體，檢索算法
ABSTRACT
In recent years, e-commerce, social networks, and mobile smarttechnologies have continued to advance, and society has entered the dataage.' The data resources on the computer and mobile terminals have becomethe core resources and core competitiveness of the enterprise. Therefore,make full use of these data resources to conduct statistical analysis of userbehaviors, absorb data in formnation through intuitive numbers or trendcharts, and improve service value and assist management. The decision ofthe people at the level has become a top priority. However, existing dataanalysis systems have the disadvantages of complex heterogeneous dataintegration, inability to read and encode, and low efficiency of datatransmission. In response to these shortcomings, this paper designs andimplements a Java Web-based data analysis system.
This paper analyzes the background and significance、the research status of predecessors, studies the key technologies needed for system development, designs and implements a data analysis system in order to collect, analyze and visualize the data. According to the software development life cycle process, combined with Java Web framework 、 Quartz, Message queue Kafka, Zookeeper and so on, from the system feasibility analysis, module requirements analysis to the design of each functional module business logic,to the specific coding implementation,we complete four modules: data collection, data transmission, data analysis and data visualization, and carry out black box testing for system functions, performance, and security.
At the same time, in order to realize the unified collection, extraction and organization of information, this paper designs and encodes a common message body based on data dictionary to solve the complex problem of heterogeneous data integration. The message retrieval algorithm in the message queue is studied, and the improvement is based on the ordinary binary search. The step of cutting from the middle is replaced by the distance difference from the evaluation, and the algorithm is implemented to solve the defect of low data transmission efficiency. Then, the performance of the improved message retrieval algorithm and the existing algorithm are compared from mathematical reasoning and number of times of searching. Finally, in mathematical reasoning, the improved algorithm reduces the time complexity. In the number of searches, the number of searches is reduced, the search time is greatly reduced, and the efficiency is more efficient. Finally, the existing system message types are not easy to read and encode using text, string, XML, etc. The system uses a lightweight data exchange format JSON （JavaScript Object Notation） to encapsulate information, reducing the performance of parsing and compatibilty issues.
KEY WORDS:data analysis, software development life cycle, common message body,message retrieval algorithm
目錄
第一章引言
1.1研究背景和意義
隨著(zhù)電子商務(wù)、社交網(wǎng)絡(luò )、移動(dòng)智能設備不斷升級進(jìn)步",數據以海量的方式不斷遞增。數據傳遞者某種信息，因此現在所謂的"信息時(shí)代"準確來(lái)說(shuō)是"數據時(shí)代".在日常生活中，越來(lái)越多的人習慣用手機、電腦、iPad 等電子產(chǎn)品瀏覽感興趣的網(wǎng)頁(yè)，點(diǎn)擊、下載感興趣的app,購買(mǎi)喜歡的東西等，這些行為產(chǎn)生了源源不斷的數據。數據的增長(cháng)速度快、涉及范圍廣等特性讓我們迎來(lái)了真正的數據時(shí)代凹。
2013年是大數據興起的--年，代表大數據的浪潮在全世界范圍內展開(kāi)叫。
2014年之前我們處于信息技術(shù)時(shí)代，馬云認為之后我們將往數據時(shí)代轉移。
信息技術(shù)時(shí)代和數據技術(shù)時(shí)代倡導的主題明顯不同，信息以自我為主實(shí)現管理和控制，數據則以大眾為主刺激生產(chǎn)力4.
2015年9月5日，李克強總理洞察時(shí)局且結合社會(huì )發(fā)展需要，意識到大數據發(fā)展工作勢在必行，審閱并通過(guò)了《促進(jìn)大數據發(fā)展行動(dòng)綱要》。國務(wù)院積極響應并印發(fā)給各個(gè)相關(guān)機構，希望它們可以貫徹落實(shí)該綱要51.
2017年11月18日，第五屆中國數據分析行業(yè)峰會(huì )在廣東某大酒店盛大開(kāi)幕，總結歸納了大數據未來(lái)發(fā)展新動(dòng)態(tài)。
以上事件說(shuō)明，這是一個(gè)數據與日俱增的時(shí)代，人們無(wú)時(shí)無(wú)刻不在產(chǎn)生數據。
如何利用規模龐大、結構復雜的數據來(lái)解決在復雜和多元化的業(yè)務(wù)場(chǎng)景中遇到的挑戰成為一個(gè)棘手的問(wèn)題。
數據是具有潛在價(jià)值的能源，正潛移默化影響著(zhù)人們的生活。分析數據的目的就是為了發(fā)現數據的價(jià)值回，挖掘出它蘊藏的信息價(jià)值并加以利用，這種情況下催生了數據分析技術(shù)。隨著(zhù)互聯(lián)網(wǎng)時(shí)代不斷發(fā)展，各個(gè)公司的規模不斷壯大，業(yè)務(wù)領(lǐng)域不斷擴大，投入了大量的人力物力在產(chǎn)品研發(fā)上面，但是由于缺乏數據分析的支持叨，各大公司對如何留住有興趣的客戶(hù)，發(fā)現潛在客戶(hù)尚無(wú)有效的方法。越來(lái)越多的公司管理層開(kāi)始提出數據分析的要求，迫切希望通過(guò)精確的數據分析發(fā)現日常運營(yíng)的漏洞以及改善的方向，對公司未來(lái)的發(fā)展策略給予建議性指導，將公司的經(jīng)驗導向型運營(yíng)轉為分析導向型運營(yíng)。
各行各業(yè)都意識到數據分析的重要性，且充分利用數據分析的優(yōu)勢為自己創(chuàng )造可觀(guān)的效益。因此。本課題研究的意義是將對收集數據、分析數據、可視化數據等方面進(jìn)行研究，提出并分析統一消息體作為規范的優(yōu)勢，且對消息隊列中的消息檢索算法進(jìn)行研究，實(shí)現數據的采集、數據的分析以及數據的可視化。通過(guò)對數據進(jìn)行分析與清晰的展示，讓數據變成知識，幫助業(yè)務(wù)和企業(yè)管理層領(lǐng)導人員精準高效地獲得可轉化為洞察力的信息81.
1.2前人研究現狀
本文擬設計并實(shí)現-一個(gè)基于Java Web的數據分析系統。目前，針對利用JavaWeb 191等技術(shù)開(kāi)發(fā)平臺，國內學(xué)者已經(jīng)進(jìn)行了一些相關(guān)的研究與實(shí)踐。
張嵐！0的《基于JAVAWEB技術(shù)旅游服務(wù)網(wǎng)站系統設計與實(shí)現》本文使用WEB SERVICES. JSP以及T0MCAT等Java Web技術(shù)，針對網(wǎng)站管理員、用戶(hù)、旅行社經(jīng)理及導游三個(gè)角色進(jìn)行分析與設計，最終對旅游服務(wù)網(wǎng)站系統的評論發(fā)布、酒店預訂、交通預訂、旅游預訂等模塊進(jìn)行實(shí)現。
霍劍峰川的《基于JAVAWEB的虛擬數字圖書(shū)電子商務(wù)平臺設計與實(shí)現》
本文對Spring、Struts. Hibemate、 JSP等Java Web技術(shù)進(jìn)行研究，對比了CIS和B/S架構，根據平臺使用者的不同，設計不同的角色權限。使用B/S架構將處理事務(wù)脫離使用者，減小客戶(hù)端的壓力，將壓力都集中在服務(wù)器端。對整體設計中存在的問(wèn)題和所遇到的難點(diǎn)進(jìn)行分析以及解決。
陳巧婷121的《基于Java Web的網(wǎng)上培訓報名系統的設計與實(shí)現3本文在JavaWeb技術(shù)基礎上，結合B/S、統--建模語(yǔ)言UML等相關(guān)技術(shù)對網(wǎng)上培訓報名系統進(jìn)行開(kāi)發(fā)。采用角色訪(fǎng)問(wèn)控制權限設計多種權限，實(shí)現系統多級安全機制。
魏晨朝31的《基于JavaWeb的全國土地確權信息采集系統設計與實(shí)現》利用Java Web技術(shù)并結合SQLSERVER2005 技術(shù)實(shí)現了B/S 模式的信息采集系統。文中詳細描述了系統的總體需求分析、模塊需求分析、設計以及實(shí)現。
張超的《基于Java Web的材料采購業(yè)務(wù)管理系統的設計與實(shí)現》本文在B/S架構下，結合J2EE技術(shù)詳細介紹了系統各個(gè)模塊的功能實(shí)現，數據庫命名的詳細設計以及過(guò)程中遇到的問(wèn)題以及難點(diǎn)。此系統可以實(shí)現對采購業(yè)務(wù)的全方面管理。
以上文章中，介紹作者在不同的開(kāi)發(fā)環(huán)境中，利用Java Web技術(shù)，以及數據庫技術(shù)，實(shí)現系統的開(kāi)發(fā)。主要包括系統的總體以及模塊的需求分析、總體設計、功能模塊設計、數據庫分析、模塊的實(shí)現、系統測試等部分。基于這五篇文章，本文將基于Java Web框架，結合消息隊列KallSI、Redisl4l技術(shù)、Quarz1]
定時(shí)任務(wù)技術(shù)、前端框架DWZ叫技術(shù)等，完成數據分析系統的設計與實(shí)現。
1.3課題主要研究?jì)热?/strong>
本文擬開(kāi)發(fā)出- -套數據分析系統并對其功能。性能、安全性等方面進(jìn)行研究，完成基于JavaWeb的數據分析系統的設計與開(kāi)發(fā)。主要包括目標數據的采集、分析以及用戶(hù)交互視圖模塊。首先通過(guò)接口在門(mén)戶(hù)Web端、IOS/ANDROID手機客戶(hù)端、第三方應用端收集數據，然后按照統- - 消息體的格式通過(guò)接口將合法數據發(fā)送到消息隊列中，接著(zhù)消費者組從消息隊列中得到固定主題的數據，即將隊列中數據- - 部分存儲到Redis用于實(shí)時(shí)計算和存儲，另一部分存儲到Mysql用于展示用戶(hù)的統計信息，最終實(shí)現對數據的采集、分析以及可視化。系統時(shí)序如圖1-1所示：
本課題將研究以下的內容。
（1）研究數據分析系統的現狀、背景與意義以及實(shí)現該系統需要的技術(shù)手段，搭建網(wǎng)站所需的開(kāi)發(fā)環(huán)境，同時(shí)對消息隊列Kafka的消息檢索算法做出研究。
（2）對數據分析系統可行性進(jìn)行研究，主要從三方面進(jìn)行分析：技術(shù)實(shí)現、經(jīng)濟預算、操作難度的可行性。建立數據分析系統的需求分析：功能需求、性能需求、架構需求。
（3）實(shí)現數據分析系統的設計，主要包括系統整體設計、數據采集模塊設計、數據分析模塊設計、數據可視化模塊設計以及數據庫的分析設計，給出了各個(gè)模塊的設計流程圖、數據庫E-R圖和數據庫表清單。在數據采集模塊設計- -種統一消息體整理提取消息。同時(shí)為提升系統性能、提高檢索效率，對消息隊列檢索算法進(jìn)行改良設計<4）根據系統的需求分析以及各個(gè)模塊的設計，完成數據采集、數據分析以及數據可視化模塊的實(shí)現。根據消息檢索算法的設計對該算法進(jìn)行實(shí)現、性能分析以及性能驗證。檢索算法基于二分查找算法的思路，依據和所求值的距離差來(lái)對序列進(jìn)行數據篩選、查找。當被查找序列元素數量比較多時(shí)，查找速度也隨之大大加快。本文從理論和實(shí)驗上證明了改進(jìn)的消息檢索算法。結果表明，改進(jìn)的消息檢索算法是可行的，可以提升消息檢索的速度。
（5）建立系統的測試與難點(diǎn)分析，測試主要從三個(gè)角度出發(fā)，分別為功能：
性測試、性能分析、安全性測試。難點(diǎn)分析是針對系統開(kāi)發(fā)過(guò)程中遇到的難點(diǎn)問(wèn)題進(jìn)行分析以及找到對應的解決方案。
1.4論文組織結構
本篇論文共分六個(gè)部分，各個(gè)部分主要內容介紹如下：
第一章，引言。這一章主要介紹了目前數據現狀，指出數據分析的重要性并且對數據分析系統采用的Java Web技術(shù)的研究現狀進(jìn)行分析。結合數據分析的發(fā)展需要，提出開(kāi)發(fā)數據分析系統的必要性。
第二章，關(guān)鍵技術(shù)。這一章針對數據分析系統開(kāi)發(fā)過(guò)程中要用到的關(guān)鍵技術(shù)、框架以及設計模式等進(jìn)行初步闡述。
第三章，數據分析系統分析與設計。這-章主要內容有：可行性分析、需求分析、系統整體設計、改進(jìn)消息隊列檢索算法設計、統- - 消息體設計、各個(gè)模塊實(shí)現方案的設計以及數據庫分析與設計。可行性分析從技術(shù)、經(jīng)濟、操作三個(gè)方面對系統的可操作性進(jìn)行研究。對系統的需求劃分出多個(gè)方面，針對不同方面提出相應的要求。統一消息體設計包括數據字典設計和統- -消息體 設計。
第四章，數據分析系統的實(shí)現。這一章根據 系統的分析與設計完成系統各功能模塊的實(shí)現。實(shí)現的模塊有：數據采集模塊、數據分析模塊、數據可視化模塊。
同時(shí)，將各模塊主要實(shí)現部分用偽代碼、流程圖、效果圖的形式進(jìn)行展示。然后描述了統--消息體和改進(jìn)消息隊列檢索算法的實(shí)現。并從數學(xué)推理以及實(shí)驗驗證對比改進(jìn)前、后的檢索算法。
第五章，數據分析系統的測試與難點(diǎn)分析。從功能、性能、安全性三個(gè)不同角度對系統進(jìn)行測試。難點(diǎn)分析是系統實(shí)現過(guò)程中遇到很多難點(diǎn)，針對這些難點(diǎn)采取的解決辦法。
第六章，總結與展望。這-章歸納S本項目開(kāi)發(fā)過(guò)程中的成果和所做的工作，同時(shí)分析了系統存在的問(wèn)題，并對本課題相關(guān)工作的后續研究方向提出展望。
1.5本章小結
本章主要介紹了基于Java Web的數據分析系統的研究背景與意義，闡述當前數據分析的重要性，以及開(kāi)發(fā)數據分析系統的必要性。然后對Java Web的研究現狀做了分析，同時(shí)描述了本項目開(kāi)發(fā)過(guò)程中所做的工作。最后，對論文整個(gè)的組織結構進(jìn)行了闡明并明確每--章的研究?jì)热荨?/p>
第二章關(guān)鍵技術(shù)
2.1 Java相關(guān)技術(shù)介紹
2.1.1 JSP技術(shù)
2.1.2 Quartz框架技術(shù)
2.13 ZooKeeper技術(shù)
2.2消息隊列檢索算法
2.2.1消息隊列概述
2.2.2消息文件存儲機制
2.2.3消息檢索算法
2.3 SSM框
2.3.1 Spring框架
2.3.2 Struts2框架
2.3.3 MyBatis框架
2.4 Echarts技術(shù)
2.5數據字典技
2.6數據庫技術(shù)
2.6.1 Redis技術(shù)
2.6.2 MySQL技術(shù)
2.7本章小節
第三章數據分析系統的分析與設計
3.1可行性分析
3.1.1技術(shù)可行性
3.1.2經(jīng)濟可行性
3.1.3操作可行性
3.2需求分析
3.2.1功能需求
3.2.2性能需求
3.23架構需求
3.3系統概述與總體架構
3.3.1系統概述
3.3.2系統總體架構
3.4改進(jìn)消息隊列檢索算法設計
3.5統一消息體設計
3.5.1數據字典設計
3.5.2統一消總體設計
3.6功能模塊設計
3.6.1數據采集模塊
3.6.2數據分析模塊
3.6.3數據可視化模塊
3.7數據庫分析與設計
3.7.1數據庫需求分析
3.7.2數據庫概念設計
3.7.3數據庫邏輯設計
3.8本章小結
第四章數據分析系統的實(shí)現
4.1統一消息體現
4.1.1數據字典實(shí)現
4.1.2統一消息體實(shí)現
4.2數據采集模塊實(shí)現 . . .
4.3數據分析模塊實(shí)現
4.4數據可視化模塊實(shí)
4.5改進(jìn)消息隊列檢索算法實(shí)現
4.5.1改進(jìn)檢索算法實(shí)
4.5.2改進(jìn)算法性能分析
4.5.3改進(jìn)算法性能驗證
4.6本章結
第五章數據分析系統的測試與難點(diǎn)分析
5.1系統測試
5.1.1功能測試
5.1.2性能測
5.1.3安全性測
5.2 難點(diǎn)與問(wèn)題
5.2.1所遇到的難點(diǎn)
5.2.2解決方案
5.3本章小結
第六章總結與展望
6.1論文工作總結
本文閱讀了大量有關(guān)消息隊列、Java Web的文獻與資料，總結了前人的研究成果及現狀，在此基礎上，對研究數據分析系統現狀進(jìn)行了研究。在對可行性進(jìn)行分析后，針對本文研究的數據分析內容展開(kāi)了功能、性能以及架構需求的調研和探索，設計并實(shí)現了基于JavaWeb的數據分析系統，包括數據采集模塊、數據分析模塊。數據可視化模塊。并對系統進(jìn)行了功能測試、性能測試、安全性測試。
本文的主要成果如下：
（1）基礎功能模塊開(kāi)發(fā)本文根據軟件開(kāi)發(fā)生命周期的過(guò)程，從模塊的需求分析到各個(gè)功能模塊業(yè)務(wù)邏輯的設計，再到具體編碼實(shí)現，完成了數據采集、數據分析以及數據可視化等四大模塊。
（2）統一消息體實(shí)現在數據傳輸過(guò)程中，為實(shí)現信息的統- -收集、 提取、整理，設計并實(shí)現了基于數據字典的統- -消息體。統一消息體對不同操作、不同渠道、不同事件的消總進(jìn)行封裝，采用輕量級JSON格式，發(fā)送到平臺統- - 服務(wù)接口。并且本系統開(kāi)發(fā)了數據字典操作界面，維護數據字典更加便捷。同時(shí)采用數據字典，改進(jìn)了系統的可重用性、易維護性和可擴展性，提高了開(kāi)發(fā)效率，有助于幫助企業(yè)的產(chǎn)品更加精準推銷(xiāo)，有效挖掘對企業(yè)有用的信息。
（3）消息檢索算法優(yōu)化與實(shí)現本文對現有的消息檢索算法進(jìn)行了綜合的分析、對比及優(yōu)化。發(fā)現現有檢索算法的不足，同時(shí)為提高系統效率，設計并是實(shí)現了-種改進(jìn)消息隊列檢索算法。
其平均查找次數明顯優(yōu)于現有消息檢索算法，能夠高效準確的完成Kafka的消息檢索。同時(shí)從數學(xué)推理、查找次數等多個(gè)方面對改進(jìn)后的消息檢索算法進(jìn)行了性能對比，實(shí)踐證明改進(jìn)后的消息檢索算法是有效且高效的。
（4）全面系統測試系統開(kāi)發(fā)完成后，為保證系統的質(zhì)量，對系統進(jìn)行了全方位的測試。尤其進(jìn)行了詳盡的安全性測試，對常見(jiàn)的SQL注入漏洞、跨站腳本攻擊漏洞、跨域請求偽造漏洞、密碼傳輸安全性、系統超時(shí)等安全漏洞進(jìn)行檢測。
本系統遵循軟件工程開(kāi)發(fā)規范，遵循MVC設計模式，從可行性分析，到需求分析，再到設計與實(shí)現，確保系統業(yè)務(wù)邏輯代碼層次清晰，功能明確。高效完成了數據分析系統的實(shí)現，為其他數據分析系統的快速高效、易于重構的開(kāi)發(fā)工作提供了參考，具有重大意義。
6.2工作展望
本平臺已經(jīng)投入使用，且現階段未檢測到功能問(wèn)題和安全問(wèn)題。但隨著(zhù)網(wǎng)絡(luò )技術(shù)的不斷發(fā)展和更新，系統也許會(huì )暴露出潛在的問(wèn)題，所以，系統仍然有繼續發(fā)展和維護的必要，接下來(lái)的發(fā)展和維護主要針對以下幾個(gè)方面的問(wèn)題：
本系統主要使用了SSM框架，框架在不斷地更新升級來(lái)修復舊版本框架中的一些問(wèn)題，比如本平臺使用Struts2 的前身是Stuts1, 在Struts1進(jìn)行了升級與優(yōu)化。未來(lái)也許會(huì )出現更高的版本，那就需要對系統升級改造，增加系統穩定性。
本系統采用的Spring3.2,而現在Spring4.0 不僅對Spring3.2 中的問(wèn)題進(jìn)行修復，還增加了新功能。由于框架在不斷升級，現在的平臺需要進(jìn)行相應地更新和維護，這是后期平臺維護的主要方向。本平臺接下來(lái)的升級，不僅要更替框架的版本和部分源代碼，還可能需要對個(gè)別功能部分的代碼做對應修改。
本系統為了保證消息是全局有序的，只使用了一個(gè)partition. 這種情況下，只能有一個(gè)生產(chǎn)者，一個(gè)partition,一個(gè)消費者，和大數據應用場(chǎng)景相悖。
數據隨著(zhù)時(shí)間發(fā)展會(huì )越來(lái)越多，單一數據庫容量有限，難以存儲，且查詢(xún)效率會(huì )越來(lái)越低。在數據越來(lái)越多的情況下，數據無(wú)法存儲，系統顯示的數據就是錯誤的，那么數據分析系統就失去它存在的意義。本系統采取的解決方案是增加歷史數據清理功能，自動(dòng)清理N （目前N=5）年前的數據。但是丟棄多年前的數據并非是最佳解決方案，隨著(zhù)日訪(fǎng)問(wèn)量的增加，數據庫服務(wù)器磁盤(pán)所能支持的N值會(huì )越來(lái)越小。為了效率和效果更好，一個(gè)數據庫不夠使用，那就使用多個(gè)數據庫。對數據拆分后存儲多個(gè)單機數據庫中，對外保持邏輯的一致性，即采用分庫分表技術(shù)。分庫分表是針對單-數據庫存儲容量有限、性能等問(wèn)題，把一個(gè)數據庫經(jīng)過(guò)某種方式進(jìn)行拆分，將拆分后的多個(gè)部分放到位于不同機器的數據庫上。
分庫分表存在跨節點(diǎn)Join的瓶頸，-般良好的設計和切分可以改善這個(gè)問(wèn)題。由阿里巴巴自主研發(fā)致力于解決單機數據庫服務(wù)瓶頸問(wèn)題推出的分布式數據庫產(chǎn)品DRDS完美應用了分庫分表的核心思想，解決了跨節點(diǎn)Join的問(wèn)題。后期從長(cháng)遠考慮，可以改用DRDS來(lái)徹底解決該系統的性能瓶頸問(wèn)題。
綜上所述，該數據分析系統在功能和安全方面能滿(mǎn)足大部分行業(yè)數據分析需求，后續還需要對本系統進(jìn)行不斷的升級和更新，才能更好的被各個(gè)行業(yè)分析平臺所實(shí)際采用。
參考文獻
[1]侯秋琚。基于B/S的物流管理系統設計與實(shí)現[J].電子測試， 2014（11）：1-
[2]范明，孟小峰，數據挖掘與技術(shù)[M].北京：機械工業(yè)出版社，2012.
[3]ChenH, Chiang RHL, Storey V C. Business Intelligence and Analytics:From Big Data to Big Impact. [M]// Business intelligence andanalytics: From big data to big impact. 2012.
[4]阿里巴巴數據技術(shù)及產(chǎn)品部。大數據之路：阿里巴巴大數據實(shí)踐[M].北京：電子工業(yè)出版社，2017.
[5]數據委。行業(yè)發(fā)展現狀[EB/0L.]. http://ww. chinacpda. org/fazhan.
[6]陳明、MapReduce 分布編程模型[J].計算機教育，2014（1）： 104-107.
[7]郭全中，用戶(hù)時(shí)代"信息服務(wù)為王"[J].傳媒評論，2013（11）。
[8]范東來(lái)。 Hadoop海量數據處理[x].北京：人民郵電出版社，2015.
[9]錢(qián)宏武。 Web技術(shù)2007盤(pán)點(diǎn)[J].程序員，2008,2: 42-43
[10]張嵐，基于JAVAWEB技術(shù)旅游服務(wù)網(wǎng)站系統設計與實(shí)現[D].電子科技大學(xué)，2012.
[11]霍劍峰。基于JAVA WEB 的虛擬數字圖書(shū)電子商務(wù)平臺設計與實(shí)現[D].吉林大學(xué)，2015.
[12]陳巧婷。基于Java Web的網(wǎng)上培訓報名系統的設計與實(shí)現[D].吉林大學(xué)，2015.
[13]魏晨朝、基于Java Web 的全國土地確權信息采集系統設計與實(shí)現[D].北京郵電大學(xué)，2017.
[14]張韜。基于Java Web 的材料采購業(yè)務(wù)管理系統的設計與實(shí)現[D].電子科 .技大學(xué)，2012. .
[15]楊冬暉，一 種分布式消息隊列的可靠性研究[J]、電腦知識與技術(shù)，2015（21）：75-76.
[16]徐競州、基于Redis 的高并發(fā)搶紅包應用的設計與實(shí)現[D]. 湖南大學(xué)， 2016.
[17]張鵬，白朝旭， 王錕， 等，基于Quartz的集團化調度任務(wù)分布部署研究[J].現代電子技術(shù)，2014（2） :80-83.
[18]朱亞興，盧淑萍，李灝毅。基于ThinkPHP+DWZ架構的高校科研管理系統的設計與實(shí)現[J].電腦知識與技術(shù)，2012, 08 （23） : 5625- -5628.
[19]FieldsDK, KolbMA, BayernS. WebDevelopmentwith JavaServer[M]. Manning Publications Co. , 2001.
[20]張鵬，白朝旭，王錕， 等基于Quartz的集團化調度任務(wù)分布部署研究[J].現代電子技術(shù)，2014（2） :80-83.
[21]張旭剛，李東輝，俞俊， 等。基于2ookeeper和強一致性 復制實(shí)現MySQL分布式數據庫集群[J].微型電腦應用，2016, 32（1）：77-80.
[22]梅雪峰，趙文靜、基于消 息隊列和Web服務(wù)的分布式系統異步交互方式體系架構[J].西北大學(xué)學(xué)報：自然科學(xué)版，2004, 34 （6） :655-658.
[23]Henjes R,Menth M, Himmler V. Impact of Complex Filters on theMessage Throughput of the ActiveMQ JMS Server [M]// Managing TrafficPerformance in Converged Networks. Springer Berlin Heidelberg,2007: 192- 203.
[24]陳璞。基于Rabbi tMQ的電子商務(wù)系統設計與實(shí)現[D].天津大學(xué)，2015.
[25]lonescu V M. The analysis of the performance of RabbitMQ andActiveMQ[J]. 2015. .
[26]石良玉、基于A(yíng)JAX的數據分析系統的設計與實(shí)現[D].大連交通大學(xué)， 2011.
[27]王鄭合，王鋒，鄧輝。一種優(yōu)化的Kafka 消費者/客戶(hù)端負載均衡算法[J].計算機應用研究， 2017,34（8） :56-60.
[28]Cao NN, Kim J S, Hwang S. KOHA: Building a Kafka-Based DistributedQueue System on the Fly in a Hadoop Cluster[C]// Foundations andApplications of Self* Systems, 1EEE International Workshops on.
1EEE,2016:48-53.
[29]Apache Kafka. Kafka Homepage [EB/OL]. ht tp://kafka. apache. org/.
[30]徐郡明。 Apache Kafka 源碼剖析[M].北京：電子工業(yè)出版社，2017.
[31]YatesC, LaddS, Dei numM, etal. Pro Spring MVC:With Web Flow[M].Apress, 2012.
[32]JohnsonR, Hoel lerJ, ArendsenA, etal. Professional Java Developmentwith the Spring Framework[M]. john Wiley & Sons, 2009.
[33]李剛，Struts2 權威指南-基于Web Work核心的MVC開(kāi)發(fā)[M]. 電子工業(yè)出版社、2007:92-113.
[34]Clinton Begin, Brandon Goodin, Larry Meadors. iBatis in Action [M].Manning Pub1 ications.2007.
[35]王子毅，張春海，基于ECharts的數據可視化分析組件設計實(shí)現[J].微型機與應用，2016, 35（14） :46-48.
[36]王德廣，張軍卒，李文。基于數據字典的通用查詢(xún)平臺的設計[J].科學(xué)技術(shù)與工程，2009, 10: 19-23.
[37]王心妍、Memcached 和Redis在高速緩存方面的應用[J].無(wú)線(xiàn)互聯(lián)科技，2012（9）：8-9.
[38]胡雯，李燕，MySQL 數據庫存儲引擎探析[J].軟件導刊， 2012,11（12） :129-131.
[39]Schram A, Anderson K M. MySQL to NoSQL: data modeling challenges insupporting scalability[C]// Acm Conference on Systems. 2012.
[40]楊寶林。基于Java Web的學(xué)生成績(jì)信息管理系統[D].吉林大學(xué)， 2015.
致謝
時(shí)光如梭，不過(guò)轉瞬之間，三年的北郵計算機研究生的生活即將告一段落，而我也將要步入社會(huì )。三年的時(shí)光中，我受到了很多老師、同學(xué)、朋友的熱心幫助，而從一個(gè)不懂科研、技術(shù)水平不高的學(xué)生變成了編程水平極高、別人稱(chēng)贊的研究生。每- -次接觸項目，都讓我受益匪淺，讓我把書(shū)本上理論知識應用到一個(gè)個(gè)實(shí)際工程項目中。在論文即將完成之際，謹向所有幫助過(guò)我的領(lǐng)導、老師、同學(xué)、朋友們表示由衷的謝意，感謝你們一路的陪伴與照顧。
首先，感謝羅守山老師和我的導師辛陽(yáng)老師。兩位老師認真負責、誨人不倦、在學(xué)習和生活上都對我全心指導，對我的小論文和畢業(yè)論文都指予專(zhuān)業(yè)的指點(diǎn)。
從本畢業(yè)論文開(kāi)題、數據分析系統的設計實(shí)現到最后的論文編寫(xiě)都給予了我非常多有價(jià)值的意見(jiàn)，而且自始至終監督我準時(shí)按量的達成研究生各個(gè)時(shí)期的工作學(xué)習內容，在畢業(yè)設計的工作充實(shí)度和文章嚴密性上仔細嚴謹的把關(guān)。他們認真負貴的工作態(tài)度和對科研精益求精的品格深深感染了我，在此，向羅老師和辛老師致以真誠的謝意。
感謝實(shí)驗室的各位同學(xué)，在做學(xué)習和生活上對我的幫助。感謝李鵬樓和我一起在西門(mén)子實(shí)習，一起互幫互助，互相督促完成學(xué)業(yè)。在這三年的時(shí)間里，大家共同投身科研工作，共同努力工作，共同享受了歡樂(lè )而充實(shí)的研究生生活。祝大家未來(lái)?yè)P帆起航、成就一番事業(yè)。
感謝父母和親人無(wú)條件的理解和給子我無(wú)私的幫助，并給予了我投身科研和研究生生活的物質(zhì)和精神條件，讓我可以致力于實(shí)現自我價(jià)值，達成研究生的學(xué)業(yè)目標。愿你們身體健康，生活幸福。
再次感謝各位老師、同學(xué)、朋友們對我的幫助！
（如您需要查看本篇畢業(yè)設計全文，請您聯(lián)系客服索取）