《[03]爬蟲項(xiàng)目【項(xiàng)目開發(fā)計劃】》由會員分享，可在線閱讀，更多相關(guān)《[03]爬蟲項(xiàng)目【項(xiàng)目開發(fā)計劃】（11頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、分布式互聯(lián)網(wǎng)爬蟲及其在垂直領(lǐng) 域的使用——項(xiàng)目開發(fā)計劃 1引言1 1.1編寫目的1 1.2 背景1 1.3定義1 1.4參考資料2 2項(xiàng)目概述3 2.1工作內(nèi)容3 2.2主要參加人員3 3.3產(chǎn)品3 2.3.1程序3 2.3.2文件4 2.3.3服務(wù)4 2.3.4非移交的產(chǎn)品4 2.4驗(yàn)收標(biāo)準(zhǔn)6 2.5完成項(xiàng)目的最遲期限6 2.6本計劃的審查者與批準(zhǔn)者6 3實(shí)施總計劃7 3.1工作任務(wù)的分解和接口人員7 3.2進(jìn)度7 3.3預(yù)算9 3.4關(guān)鍵問題9 4支持條件10 4.1 計算機(jī)系統(tǒng)支持10 4.2 需由用戶承擔(dān)的工作11 4.3 由外單位提

2、供的條件11 5專題計劃要點(diǎn)11 5.1 開發(fā)人員培訓(xùn)計劃11 5.2 測試計劃11 5.3 質(zhì)量保證計劃11 1 開發(fā)計劃 項(xiàng)目開發(fā)計劃 1引言 1.1編寫目的 編寫此計劃的目的是為了合理安排組織成員，有效利用時間，以確保項(xiàng)目進(jìn)度，預(yù)見項(xiàng)目風(fēng)險等活動。使項(xiàng)目嚴(yán)格按照學(xué)院及老師要求開發(fā)流程進(jìn)行，遵循正規(guī)的順序開展。同時，項(xiàng)目開發(fā)成員通過此計劃書明確項(xiàng)目目標(biāo)和各自職責(zé)。它說明相關(guān)爬蟲項(xiàng)目的開發(fā)方法，是一種計劃，以指導(dǎo)工作之用。 1.2背景 大數(shù)據(jù)時代，互聯(lián)網(wǎng)數(shù)據(jù)被認(rèn)為規(guī)模最大、結(jié)果最復(fù)雜、潛在價值最高的源數(shù)據(jù)。開發(fā)一款具有較高數(shù)據(jù)質(zhì)量、對新數(shù)據(jù)探測周期短、可靈活擴(kuò)

3、展的分布式互聯(lián)網(wǎng)爬蟲。項(xiàng)目相關(guān)人員在助教及老師指導(dǎo)下，在203機(jī)房開發(fā)。 1.3定義 MVC全名是ModelViewController是模型(model)—視圖(view)—控制器(controller)的縮寫，一種軟件設(shè)計典范，用一種業(yè)務(wù)邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個部件里面，在改進(jìn)和個性化定制界面及用戶交互的同時，不需要重新編寫業(yè)務(wù)邏輯。MVC被獨(dú)特的發(fā)展起來用于映射傳統(tǒng)的輸入、處理和輸出功能在一個邏輯的圖形化用戶界面的結(jié)構(gòu)中。 Eclipse是一個開放源代碼的、基于Java的可擴(kuò)展開發(fā)平臺。就其本身而言，它只是一個框架和一組服務(wù),用于通過插件組件構(gòu)建

4、開發(fā)環(huán)境。幸運(yùn)的是,Eclipse附帶了一個標(biāo)準(zhǔn)的插件集，包括Java開發(fā)工(JavaDevelopmentKit，JDK)。 MySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，目前屬于Oracle旗下產(chǎn)品oMySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件。 Tomcat是Apache軟件基金會(ApacheSoftwareFoundation)的Jakarta項(xiàng)目中的一個核心項(xiàng)目，由Apache、Sun和其他一些公司及個人共同開

5、發(fā)而成。 1.4參考資料 相關(guān)文檔及網(wǎng)絡(luò)資源 2項(xiàng)目概述 2.1工作內(nèi)容 數(shù)據(jù)采集模板配置工程 數(shù)據(jù)采集工程 媒體傳播分析工程 用戶可視化界面 2.2主要參加人員 2.3產(chǎn)品 2.3.1 程序 軟件名稱：分布式互聯(lián)網(wǎng)爬蟲及其在垂直領(lǐng)域的使用 編程語言：Java 功能：軟件操作簡便、快捷，數(shù)據(jù)采集部分可以通過簡單、易懂的方式配置新網(wǎng)站數(shù)據(jù)的采集。數(shù)據(jù)分析模塊通過基關(guān)鍵詞過濾以及統(tǒng)計學(xué)思想計算媒體傳播排名及趨勢。界面設(shè)計風(fēng)格采用Web形式，用戶界面簡單明了，符合業(yè)務(wù)辦理流程，具有人性化特點(diǎn)。軟件設(shè)計結(jié)構(gòu)模塊化、程序結(jié)構(gòu)化、數(shù)據(jù)格式標(biāo)準(zhǔn)化、代碼統(tǒng)一化，各種文檔資料規(guī)范化。

6、 2.3.2 文件 ＞用戶操作手冊：本手冊詳細(xì)描述軟件的功能、性能和用戶界 面，使用戶對如何使用該軟件得到具體的了解,為操作人員提 供該軟件各種運(yùn)行情況的有關(guān)知識，特別是操作方法的具體細(xì)節(jié)。 ＞軟件維護(hù)手冊：主要包括軟件系統(tǒng)說明、程序模塊說明、操作 環(huán)境、支持軟件的說明、維護(hù)過程的說明，便于軟件的維護(hù)。 2.3.3服務(wù) 計劃提供以下服務(wù)： 課堂培訓(xùn)：以講課形式對客戶進(jìn)行培訓(xùn)，使其能夠正確使用件。 免費(fèi)咨詢：客戶可以在工作時間向技術(shù)人員提出問題并獲得解答。技術(shù)支持：對于某些客戶，采取上門指導(dǎo)的方式。軟件維護(hù)：獲取軟件使用中的問題，提供補(bǔ)丁程序。 升級通知：在軟件新版本發(fā)布的

7、時候，及時通知（Email或郵寄信件）注冊的用戶，并提供試用版本。 軟件升級：對于注冊用戶，只需較少的費(fèi)用即可升級到新的版本。 2.3.4非移交的產(chǎn)品 可行性分析報告：說明該軟件開發(fā)項(xiàng)目的實(shí)現(xiàn)在技術(shù)上、經(jīng)濟(jì)上和社會因素上的可行性，評述為了合理地達(dá)到開發(fā)目標(biāo)可供選擇的各種可能實(shí)施方案，說明并論證所選定實(shí)施方案的理由。 項(xiàng)目開發(fā)計劃：為軟件項(xiàng)目實(shí)施方案制訂出具體計劃，應(yīng)該包括各部分工作的負(fù)責(zé)人員、開發(fā)的進(jìn)度、開發(fā)經(jīng)費(fèi)的預(yù)算、所需的硬件及軟件資源等。 軟件需求說明書（軟件規(guī)格說明書）對所開發(fā)軟件的功能、性能、用戶界面及運(yùn)行環(huán)境等做出詳細(xì)的說明。它是在用戶與開發(fā)人員雙方對軟件需求取得共同理解

8、并達(dá)成協(xié)議的條件下編寫的，也是實(shí)施開發(fā)工作的基礎(chǔ)。該說明書應(yīng)給出數(shù)據(jù)邏輯和數(shù)據(jù)采集的各項(xiàng)要求，為生成和維護(hù)系統(tǒng)數(shù)據(jù)文件做好準(zhǔn)備。 概要設(shè)計說明書：該說明書是概要實(shí)際階段的工作成果，它應(yīng)說明功能分配、模塊劃分、程序的總體結(jié)構(gòu)、輸入輸出以及接口設(shè)計、運(yùn) 3 開發(fā)計劃 行設(shè)計、數(shù)據(jù)結(jié)構(gòu)設(shè)計和出錯處理設(shè)計等，為詳細(xì)設(shè)計提供基礎(chǔ)。 詳細(xì)設(shè)計說明書：著重描述每一模塊是怎樣實(shí)現(xiàn)的，包括實(shí)現(xiàn)算法、邏輯流程等。 測試計劃：為做好集成測試和驗(yàn)收測試，需為如何組織測試制訂實(shí)施計劃。計劃應(yīng)包括測試的內(nèi)容、進(jìn)度、條件、人員、測試用例的選取原則、測試結(jié)果允許的偏差范圍等。 測試分析報告：測試工作完成

9、以后，應(yīng)提交測試計劃執(zhí)行情況的說明，對測試結(jié)果加以分析，并提出測試的結(jié)論意見。 開發(fā)進(jìn)度月報：該月報系軟件人員按月向管理部門提交的項(xiàng)目進(jìn)展情況報告，報告應(yīng)包括進(jìn)度計劃與實(shí)際執(zhí)行情況的比較、階段成果、遇到的問題和解決的辦法以及下個月的打算等。 項(xiàng)目開發(fā)總結(jié)報告：軟件項(xiàng)目開發(fā)完成以后，應(yīng)與項(xiàng)目實(shí)施計劃對照，總結(jié)實(shí)際執(zhí)行的情況，如進(jìn)度、成果、資源利用、成本和投入的人力，此外，還需對開發(fā)工作做出評價，總結(jié)出經(jīng)驗(yàn)和教訓(xùn)。 軟件問題報告：指出軟件問題的登記情況，如日期、發(fā)現(xiàn)人、狀態(tài)、問題所屬模塊等，為軟件修改提供準(zhǔn)備文檔。 軟件修改報告：軟件產(chǎn)品投入運(yùn)行以后，發(fā)現(xiàn)了需對其進(jìn)行修正、更改等問題，應(yīng)將

10、存在的問題、修改的考慮以及修改的影響做出詳細(xì)的描述，提交審批。 源程序：軟件開發(fā)過程中的全部代碼以及注釋。 2.4驗(yàn)收標(biāo)準(zhǔn) 代碼：最后在交付客戶之前進(jìn)行小組內(nèi)評審，代碼編寫符合HB6465標(biāo)準(zhǔn)，與文檔說明保持一致，代碼書寫風(fēng)格統(tǒng)一，采用標(biāo)準(zhǔn)規(guī)范，沒有下列錯誤：由于軟件缺陷造成丟失數(shù)據(jù)，不符合設(shè)計要求，響應(yīng)時間太長無法接受等問題。 文檔：最后在交付客戶之前進(jìn)行小組內(nèi)評審，文檔格式符合HB6465標(biāo)準(zhǔn)，功能符合與客戶的合同要求，清晰易讀，沒有語病與歧義。 服務(wù)：服務(wù)硬件達(dá)到文檔說明的要求。 2.5完成項(xiàng)目的最遲期限 交付日期為2017年7月22日 2.6本計劃的審查者與批準(zhǔn)者 本

11、項(xiàng)目批準(zhǔn)者是學(xué)院相關(guān)領(lǐng)導(dǎo)老師 3實(shí)施總計劃 3.1工作任務(wù)的分解和接口人員 3.2進(jìn)度 進(jìn)度安排 3.3預(yù)算 3.4關(guān)鍵問題 項(xiàng)目風(fēng)險因素 風(fēng)險 排序 風(fēng)險項(xiàng)名稱 風(fēng)險描述 風(fēng)險緩解方案 1 專業(yè)基礎(chǔ)知識不 牢 本次項(xiàng)目開發(fā)過程中涉及的知識較多，給項(xiàng)目開發(fā)人員帶來一定的困難 進(jìn)行相應(yīng)的培訓(xùn) 2 經(jīng)驗(yàn)欠缺 成員開發(fā)經(jīng)驗(yàn)不足， 使項(xiàng)目質(zhì)量難以保證 只有通過不斷的實(shí)踐 3 軟件性能的影響 本次開發(fā)過程中部分 軟件可能容易出現(xiàn)死 機(jī)現(xiàn)象 選擇合適的軟件，搭 建良好的配置開發(fā)環(huán) 境 4支持條件 4.1計算機(jī)系統(tǒng)支持 模板配置與數(shù)據(jù)分析應(yīng)用

12、： 系統(tǒng)架構(gòu)：MVC 開發(fā)工具：Eclipse 數(shù)據(jù)庫：Mysql 開發(fā)技術(shù)：java、bootstarp、sql、FreeChart 中間件：Tomcat、jdkl.8 采集工具： 開發(fā)工具：Eclipse 數(shù)據(jù)庫：Mysql、 開發(fā)技術(shù)：java、sql、線程池、MD5 環(huán)境要求： CPU：1GHz以上 內(nèi)存：8GB以上 9 4.2 需由用戶承擔(dān)的工作 向本小組成員進(jìn)行培訓(xùn)，其內(nèi)容包括全文檢索、httpclient等等相關(guān)技術(shù)。配備相應(yīng)硬件系統(tǒng)，做到規(guī)范操作，備份好數(shù)據(jù)防止數(shù)據(jù)丟失,軟件交付日期為軟件安裝測試人員提供環(huán)境。 4.3由外單位提供的條件 由學(xué)院提供上機(jī)環(huán)境及相關(guān)知識講座指導(dǎo)。 5專題計劃要點(diǎn) 5.1開發(fā)人員培訓(xùn)計劃自項(xiàng)目實(shí)習(xí)之日起，項(xiàng)目相關(guān)人員自行安排時間學(xué)習(xí)，周末按學(xué)院要求周末聽講座知識。 5.2測試計劃 項(xiàng)目周期第四周進(jìn)行各種數(shù)據(jù)測試。 5.3質(zhì)量保證計劃 嚴(yán)格按照項(xiàng)目開發(fā)過程中的各項(xiàng)步驟，從項(xiàng)目立項(xiàng)，可行性研究報告、需求分析報告、項(xiàng)目開發(fā)計劃等，具體實(shí)施。