摘要

　　安卓端騰訊微博應用數據提取系統的設計與實(shí)現如今，現代人正處在互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代，在人們日益增長(cháng)的需求的推動(dòng)下，大量的互聯(lián)網(wǎng)新技術(shù)不斷的產(chǎn)生出來(lái)。智能手機的普及更是大大豐富人們的日常生活。目前，手機平臺主要是安卓平臺和蘋(píng)果的 iOS 平臺，兩大平臺瓜分著(zhù)整個(gè)移動(dòng)設備市場(chǎng)，其中安卓以其開(kāi)放免費的獨特面目收到廣大生產(chǎn)廠(chǎng)商的青睞，從而促使安卓成為市場(chǎng)占有率最高的移動(dòng)操作系統平臺。在此平臺下，大量的互聯(lián)網(wǎng)公司發(fā)布了大量的應用，這些應用種類(lèi)繁多，大都是需要用戶(hù)注冊登錄來(lái)體驗移動(dòng)生活。明顯地，這些應用搜集了用戶(hù)的大量資料，包括用戶(hù)的身份資料，以及用戶(hù)在使用應用過(guò)程中的應用數據，如發(fā)布的文章和多媒體等。本文著(zhù)力于提取用戶(hù)的應用數據。

　　為了能夠進(jìn)一步地分析應用數據，本課題擬設計和實(shí)現一個(gè)安卓平臺下的應用數據提取系統，并以目前較為流行的騰訊微博應用為例，介紹設計和實(shí)現應用數據提取系統的方法。通過(guò)讀取騰訊微博應用數據，對這些數據加以分析，并整合到一個(gè)單獨的數據庫文件中。這一課題只是針對一個(gè)應用而言，因此，我們需要將這個(gè)數據提取邏輯封裝到一個(gè)動(dòng)態(tài)鏈接庫中，需要時(shí)直接調用其中的接口即可。

　　本文在介紹了相關(guān)的研究背景和重要研究意義后，根據實(shí)際，對該課題進(jìn)行了詳細的需求分析，確定了需要從該騰訊微博應用中提取哪些重要的數據，并將這些數據根據之間的關(guān)系整合在一起。同時(shí)介紹了目前實(shí)現這一系統需要的相關(guān)技術(shù)，如 C++ Builder、SQLite、動(dòng)態(tài)鏈接庫、多線(xiàn)程、C++等。接著(zhù)，本文確定了系統開(kāi)發(fā)的總體開(kāi)發(fā)流程，并對需求分析中提出的幾個(gè)模塊做了相應的實(shí)現流程規劃。

　　然后，本文詳細的闡述了實(shí)現應用數據提取系統的具體實(shí)現步驟，根據模塊劃分，分別介紹了各模塊的實(shí)現分析和具體編碼過(guò)程，針對其中的重要問(wèn)題給出解決辦法。依次完成的模塊及其內容有，動(dòng)態(tài)鏈接庫的編寫(xiě)，主要闡述了如何編寫(xiě)一個(gè)動(dòng)態(tài)鏈接庫項目，如何在主項目中使用編譯好的動(dòng)態(tài)鏈接庫；系統初始化，主要是對設備和用戶(hù)生成唯一的身份標識，創(chuàng )建目標數據庫；提取帳號信息，主要是提取該設備內包含的使用該應用的所有用戶(hù)的身份信息，將信息錄入到目標數據庫中；提取好友信息，提取每個(gè)帳號的所有好友信息；提取微博信息，提取每個(gè)帳號的所有微博，包括發(fā)布和轉載的；提取私信信息，提取每個(gè)帳號的所有與他人的私信信息。系統還解決了程序中途停止提取數據的意外情況。

　　最后，本文針對各模塊設計了一些測試用例，經(jīng)過(guò)測試，結果表明，系統滿(mǎn)足各項需求，表現良好。

　　總之，本課題能夠比較完整地提取手機應用中的用戶(hù)數據，從而方便后續的分析和整合。

　　關(guān)鍵詞：應用數據，數據提取，安卓，微博，動(dòng)態(tài)鏈接庫

Abstract

　　Today, modern people are in the era of the rapid developed Internet, driven by the growing people's demand, a large number of new Internet technologies are produced.

　　Popularity of smart phones greatly enrich people's daily lives. Currently, the mobile phone platform are mainly Google's Android platform and Apple's iOS platform, the two platforms carve up the entire mobile device market. As android is open free, so Android receives like of the majority of manufacturers of all ages, thus making the Android become the highest market share of mobile operating system platform. In this platform, a large number of Internet companies launched a lot of applications that come from a wide range. Most apps require user registration and Login to experience mobile lifestyle. Obviously, these applications collect large amount of user data, including the users' identity information, and users' application data in the usage process of the application. Such as the publication of articles and submission of multimedia. If that data are lack of poor management, it is likely to lead to bad security issues. Most of users use apps to complete normal working and life, but some criminals use these applications to communicate with each other criminals to complete illegal activities. As this data are often difficultly to find, that give them relatively safely for crime.

　　The above situation brought a lot of resistance to the police department while handling the case. In order to assist the relevant investigators, this study intends to design and implement an application data extraction system under Android platform, and take the popular Tencent weibo app as an example, and introduces design and implementation of application data extraction systems. By reading Tencent weibo app data, we analyse this data, and integrate that data into a single database file, so that office investigators can focus on them to collect crime clues. This issue is only for the specific application, so we need encapsulate this data extraction logic into a dynamic link library (DLL). Then we call the interface which DLL opens to complete large work.

　　This paper introduces the research background and important significance of current research. According to the actual situation, we make a detailed needs analysis, to determine what important data needs to be extracted from the Tencent weibo app and then put all this data together by their relationships. At the same time, we introduced related technologies which used by the current system, such as C++ Builder, SQLite, dynamic link library, multithreading, C ++, etc. Then, this paper identifies the overall system development process, and plans implementation process of several modules presented by demand analysis.

　　Then, we detaily explain implementation steps to achieve the application data extraction system, depending on the module division, then introduce the realization analysis and specific coding process of each module. We also give some solutions for important issues. The modules and their contents are following, writing dynamic link library, mainly on how to write a dynamic link library project, and how to use a compiled dynamic link library in the primary project; system initialization, mainly on makeunique identities for each equipment and user, creating the target database; extract account profile, primarily to extract all the user's identity information who used the app in this device, then write all this information into the target database; extracting friend information, extracting information of all friends for each account; extracting weibos, extract all the weibos for each account, including published and reproduced; extracting private letter information, extracting all the private letters information for each account with others. The system also solves the program while stoping extracting data accidently.

　　Finally, for each module we design some test cases, after testing process, the results show that the system meets the requirements and performs well.

　　In conclusion, this study can effectively assist officers to analyze and gather crime investigator clues, and improve work efficiency to a certain extent.

　　Keywords:App data, Data extraction, Android, Weibo, DLL

　　自從移動(dòng)互聯(lián)網(wǎng)興起以來(lái)，大量的移動(dòng)應用部署在谷歌的安卓平臺下。這些應用為廣大用戶(hù)提供了分享和交流的便利條件，但是，這些應用搜集了大量用戶(hù)的數據，包括用戶(hù)自身的資料，如姓名、電話(huà)、住址等私密的個(gè)人信息，同時(shí)存儲了用戶(hù)在交流過(guò)程中發(fā)表的言論、圖像和視頻等。大部分人都是利用這些作為體驗移動(dòng)互聯(lián)網(wǎng)生活的工具，但是有少部分的犯罪分子利用這些應用作為他們完成犯罪行動(dòng)的傳遞信息的利器[1]。

　　本課題在目前移動(dòng)設備市場(chǎng)占用率最高的安卓平臺下，擬對目前流行的騰訊微博應用做用戶(hù)數據提取，并對提取的數據進(jìn)行整合，將其中重要的數據整合到一個(gè)數據庫文件中，用以唯一地標識一個(gè)用戶(hù)，從而做后續的數據分析。這些數據里包含了用戶(hù)可能存在的真實(shí)信息，同時(shí)還具備用戶(hù)發(fā)表的言論信息[2-3]。

　　整個(gè)系統主要對安卓端的騰訊微博應用作用戶(hù)數據的提取整合，用戶(hù)的部分數據（個(gè)人信息、微博、關(guān)注的人、私信和帳號分組信息等）將以本地存儲的形式存放在用戶(hù)的移動(dòng)設備中，這些原始數據主要格式是目前流行的開(kāi)源、免費、嵌入式、性能優(yōu)異的 SQLite 數據庫[4]。本課題將對這些數據提取，并整合到一個(gè)單獨的唯一的 SQLite 文件中[5]。系統主要使用 C++ Builder 開(kāi)發(fā)工具完成，使用 C++語(yǔ)言完成具體代碼編寫(xiě)。同時(shí)，系統采用組件的思想，將針對該應用的提取邏輯封裝在一個(gè)動(dòng)態(tài)鏈接庫中，并使用多線(xiàn)程技術(shù)提高系統界面的用戶(hù)體驗[6]。

　　自互聯(lián)網(wǎng)興起以來(lái)，人與人之間相互溝通、交流和分享變得越來(lái)越頻繁和便捷。起初使用互聯(lián)網(wǎng)是使用 HTTP 協(xié)議，發(fā)明者無(wú)私地免費將這一偉大技術(shù)開(kāi)放給所有人，使得人們可以在電子設備上看到當前的世界[7]。最開(kāi)始的網(wǎng)頁(yè)是靜態(tài)的，用戶(hù)只能看，它的實(shí)現機制就是安全地將服務(wù)器上的文件傳輸到指定用戶(hù)的瀏覽器上。這些網(wǎng)頁(yè)并沒(méi)有交互性，后來(lái)，JavaScript 的引入使得網(wǎng)頁(yè)具備了交互，但網(wǎng)頁(yè)內容還是不夠美觀(guān)，接著(zhù)又產(chǎn)生了 CSS[8]，用以提高網(wǎng)頁(yè)的沒(méi)關(guān)系。更大程度上的交互是動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)的引入。動(dòng)態(tài)網(wǎng)頁(yè)使得用戶(hù)可以將自己的請求動(dòng)態(tài)地提交給服務(wù)器，然后，服務(wù)器返回處理好的數據，瀏覽器負責顯示這些響應的內容[9]。

　　隨著(zhù)人們現代工作的進(jìn)步，桌面的工作已經(jīng)不能滿(mǎn)足人們時(shí)常需要移動(dòng)的辦公的需要。人們迫切需要移動(dòng)的設備來(lái)完成很多事務(wù)。為此移動(dòng)互聯(lián)網(wǎng)產(chǎn)生了，為了協(xié)助人們辦公和生活，大量的移動(dòng)應用應運而生[10]。比如辦公類(lèi)的、休閑類(lèi)的、游戲類(lèi)的、咨詢(xún)類(lèi)的、電子商務(wù)類(lèi)的，還有目前可能最好的即使通訊類(lèi)的。這些應用大大提高了用戶(hù)交流、分享和查閱的便利[11]。用戶(hù)可以在法律和道德的約束范圍內自由的發(fā)表信息、圖片和音視頻等。大部分人將這些應用作為生活工作的好伴侶，從而產(chǎn)生了大量的應用數據[12-13]。

　　這些移動(dòng)設備的應用在使用的過(guò)程中，有大量的用戶(hù)數據是保存本地的移動(dòng)設備上的，這些數據往往包含了用戶(hù)發(fā)表的信息，甚至還有用戶(hù)的少量身份信息。基于這樣的原理[14]，本課題擬設計和實(shí)現一個(gè)應用數據提取和整合的系統，以騰訊微博為例，提取某臺設備上存儲部件的應用數據，分析其中有用的信息并整合到一個(gè)唯一的標識該用戶(hù)的文件中去，這樣就可以搜集其中隱含的線(xiàn)索了[15]。

　　目前市面上占有率最高的是谷歌的安卓系統，而且這個(gè)系統開(kāi)源免費，利于分析相關(guān)用戶(hù)數據，本系統提取和整合安卓端的騰訊微博應用中有價(jià)值的用戶(hù)數據，最終數據是一個(gè) sqlite 數據庫文件[16]。系統的主要界面并不是主要的，這個(gè)數據庫文件才是最重要的。界面的實(shí)現使用了 C++ Builder 開(kāi)發(fā)環(huán)境完成，使用 C++語(yǔ)言編碼。一個(gè)用戶(hù)不僅僅使用一個(gè)應用，因此，提取該應用的邏輯應該看成是一個(gè)組件，本課題使用動(dòng)態(tài)鏈接庫完成對提取邏輯的封裝，這樣可以將這個(gè).dll 整合到一個(gè)完整的數據提取系統中去。

　　同時(shí)，需要在實(shí)現過(guò)程中，提供中途停止的邏輯，一個(gè)比較簡(jiǎn)單的辦法就是引入多線(xiàn)程，將提取邏輯分配到子線(xiàn)程中去，從而在主線(xiàn)程中能夠監控提取線(xiàn)程的執行周期。

　　根據目前的實(shí)際背景，本文設計和實(shí)現安卓平臺下騰訊微博的應用數據提取系統，將存在的可能有價(jià)值的信息整合到一個(gè)獨立的唯一的數據庫文件中，同時(shí)將提取的邏輯以組件的形式封裝到一個(gè)動(dòng)態(tài)鏈接庫中，供外部調用。

騰訊微博應用數據提取系統:

項目列表

DLL 項目的 RTL 設置

DLL 項目的 include 設置

DLL 項目的 lib 設置

DLL 項目的輸出文件夾設置

設置 DLL 項目禁用依賴(lài)運行時(shí)

設置主項目不依賴(lài)于運行時(shí)

設置項目不使用 RTL 動(dòng)態(tài)連接

目 錄

　　第 1 章 緒 論
　　　　1.1 課題背景
　　　　1.2 相關(guān)研究現狀
　　　　1.3 本文研究?jì)热?br /> 　　第 2 章 關(guān)鍵技術(shù)介紹
　　　　2.1 C++ BUILDER
　　　　2.2 SQLITE
　　　　2.3 動(dòng)態(tài)鏈接庫
　　　　2.4 多線(xiàn)程
　　　　2.5 C
　　第 3 章 系統需求分析
　　　　3.1 功能性需求
　　　　　　3.1.1 DLL 開(kāi)發(fā)模塊
　　　　　　3.1.2 系統初始化模塊
　　　　　　3.1.3 提取賬戶(hù)信息模塊
　　　　　　3.1.4 提取好友信息模塊
　　　　　　3.1.5 提取微博信息模塊
　　　　　　3.1.6 提取私信信息模塊
　　　　3.2 非功能性需求
　　　　　　3.2.1 穩健性
　　　　　　3.2.2 實(shí)時(shí)性
　　　　　　3.3 本章小結
　　第 4 章 系統總體設計
　　　　4.1 總體開(kāi)發(fā)流程
　　　　4.2 各模塊實(shí)現流程
　　　　　　4.2.1 DLL 開(kāi)發(fā)模塊
　　　　　　4.2.2 系統初始化模塊
　　　　　　4.2.3 提取賬戶(hù)信息模塊
　　　　　　4.2.4 提取好友信息模塊
　　　　　　4.2.5 提取微博信息模塊
　　　　　　4.2.6 提取私信信息模塊
　　　　4.3 本章小結
　　第 5 章 系統詳細設計
　　　　5.1 DLL 開(kāi)發(fā)模塊
　　　　5.2 系統初始化模塊
　　　　5.3 提取賬戶(hù)信息模塊
　　　　5.4 提取好友信息模塊
　　　　5.5 提取微博信息模塊
　　　　5.6 提取私信信息模塊
　　　　5.7 本章小結
　　第 6 章 系統測試
　　　　6.1 系統測試環(huán)境
　　　　6.2 測試用例及測試結果
　　　　6.3 本章小結
　　第 7 章 總結與展望
　　參考文獻
　　作者簡(jiǎn)介及在學(xué)期間所取得的科研成果
　　致 謝

（如您需要查看本篇畢業(yè)設計全文，請您聯(lián)系客服索取）