《[03]爬蟲項目【項目開發(fā)計劃】》由會員分享，可在線閱讀，更多相關《[03]爬蟲項目【項目開發(fā)計劃】（11頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、分布式互聯(lián)網(wǎng)爬蟲及其在垂直領 域的使用——項目開發(fā)計劃 1引言1 1.1編寫目的1 1.2 背景1 1.3定義1 1.4參考資料2 2項目概述3 2.1工作內(nèi)容3 2.2主要參加人員3 3.3產(chǎn)品3 2.3.1程序3 2.3.2文件4 2.3.3服務4 2.3.4非移交的產(chǎn)品4 2.4驗收標準6 2.5完成項目的最遲期限6 2.6本計劃的審查者與批準者6 3實施總計劃7 3.1工作任務的分解和接口人員7 3.2進度7 3.3預算9 3.4關鍵問題9 4支持條件10 4.1 計算機系統(tǒng)支持10 4.2 需由用戶承擔的工作11 4.3 由外單位提

2、供的條件11 5專題計劃要點11 5.1 開發(fā)人員培訓計劃11 5.2 測試計劃11 5.3 質量保證計劃11 1 開發(fā)計劃 項目開發(fā)計劃 1引言 1.1編寫目的 編寫此計劃的目的是為了合理安排組織成員，有效利用時間，以確保項目進度，預見項目風險等活動。使項目嚴格按照學院及老師要求開發(fā)流程進行，遵循正規(guī)的順序開展。同時，項目開發(fā)成員通過此計劃書明確項目目標和各自職責。它說明相關爬蟲項目的開發(fā)方法，是一種計劃，以指導工作之用。 1.2背景 大數(shù)據(jù)時代，互聯(lián)網(wǎng)數(shù)據(jù)被認為規(guī)模最大、結果最復雜、潛在價值最高的源數(shù)據(jù)。開發(fā)一款具有較高數(shù)據(jù)質量、對新數(shù)據(jù)探測周期短、可靈活擴

3、展的分布式互聯(lián)網(wǎng)爬蟲。項目相關人員在助教及老師指導下，在203機房開發(fā)。 1.3定義 MVC全名是ModelViewController是模型(model)—視圖(view)—控制器(controller)的縮寫，一種軟件設計典范，用一種業(yè)務邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務邏輯聚集到一個部件里面，在改進和個性化定制界面及用戶交互的同時，不需要重新編寫業(yè)務邏輯。MVC被獨特的發(fā)展起來用于映射傳統(tǒng)的輸入、處理和輸出功能在一個邏輯的圖形化用戶界面的結構中。 Eclipse是一個開放源代碼的、基于Java的可擴展開發(fā)平臺。就其本身而言，它只是一個框架和一組服務,用于通過插件組件構建

4、開發(fā)環(huán)境。幸運的是,Eclipse附帶了一個標準的插件集，包括Java開發(fā)工(JavaDevelopmentKit，JDK)。 MySQL是一個關系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，目前屬于Oracle旗下產(chǎn)品oMySQL是最流行的關系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關系數(shù)據(jù)庫管理系統(tǒng))應用軟件。 Tomcat是Apache軟件基金會(ApacheSoftwareFoundation)的Jakarta項目中的一個核心項目，由Apache、Sun和其他一些公司及個人共同開

5、發(fā)而成。 1.4參考資料 相關文檔及網(wǎng)絡資源 2項目概述 2.1工作內(nèi)容 數(shù)據(jù)采集模板配置工程 數(shù)據(jù)采集工程 媒體傳播分析工程 用戶可視化界面 2.2主要參加人員 2.3產(chǎn)品 2.3.1 程序 軟件名稱：分布式互聯(lián)網(wǎng)爬蟲及其在垂直領域的使用 編程語言：Java 功能：軟件操作簡便、快捷，數(shù)據(jù)采集部分可以通過簡單、易懂的方式配置新網(wǎng)站數(shù)據(jù)的采集。數(shù)據(jù)分析模塊通過基關鍵詞過濾以及統(tǒng)計學思想計算媒體傳播排名及趨勢。界面設計風格采用Web形式，用戶界面簡單明了，符合業(yè)務辦理流程，具有人性化特點。軟件設計結構模塊化、程序結構化、數(shù)據(jù)格式標準化、代碼統(tǒng)一化，各種文檔資料規(guī)范化。

6、 2.3.2 文件 ＞用戶操作手冊：本手冊詳細描述軟件的功能、性能和用戶界 面，使用戶對如何使用該軟件得到具體的了解,為操作人員提 供該軟件各種運行情況的有關知識，特別是操作方法的具體細節(jié)。 ＞軟件維護手冊：主要包括軟件系統(tǒng)說明、程序模塊說明、操作 環(huán)境、支持軟件的說明、維護過程的說明，便于軟件的維護。 2.3.3服務 計劃提供以下服務： 課堂培訓：以講課形式對客戶進行培訓，使其能夠正確使用件。 免費咨詢：客戶可以在工作時間向技術人員提出問題并獲得解答。技術支持：對于某些客戶，采取上門指導的方式。軟件維護：獲取軟件使用中的問題，提供補丁程序。 升級通知：在軟件新版本發(fā)布的

7、時候，及時通知（Email或郵寄信件）注冊的用戶，并提供試用版本。 軟件升級：對于注冊用戶，只需較少的費用即可升級到新的版本。 2.3.4非移交的產(chǎn)品 可行性分析報告：說明該軟件開發(fā)項目的實現(xiàn)在技術上、經(jīng)濟上和社會因素上的可行性，評述為了合理地達到開發(fā)目標可供選擇的各種可能實施方案，說明并論證所選定實施方案的理由。 項目開發(fā)計劃：為軟件項目實施方案制訂出具體計劃，應該包括各部分工作的負責人員、開發(fā)的進度、開發(fā)經(jīng)費的預算、所需的硬件及軟件資源等。 軟件需求說明書（軟件規(guī)格說明書）對所開發(fā)軟件的功能、性能、用戶界面及運行環(huán)境等做出詳細的說明。它是在用戶與開發(fā)人員雙方對軟件需求取得共同理解

8、并達成協(xié)議的條件下編寫的，也是實施開發(fā)工作的基礎。該說明書應給出數(shù)據(jù)邏輯和數(shù)據(jù)采集的各項要求，為生成和維護系統(tǒng)數(shù)據(jù)文件做好準備。 概要設計說明書：該說明書是概要實際階段的工作成果，它應說明功能分配、模塊劃分、程序的總體結構、輸入輸出以及接口設計、運 3 開發(fā)計劃 行設計、數(shù)據(jù)結構設計和出錯處理設計等，為詳細設計提供基礎。 詳細設計說明書：著重描述每一模塊是怎樣實現(xiàn)的，包括實現(xiàn)算法、邏輯流程等。 測試計劃：為做好集成測試和驗收測試，需為如何組織測試制訂實施計劃。計劃應包括測試的內(nèi)容、進度、條件、人員、測試用例的選取原則、測試結果允許的偏差范圍等。 測試分析報告：測試工作完成

9、以后，應提交測試計劃執(zhí)行情況的說明，對測試結果加以分析，并提出測試的結論意見。 開發(fā)進度月報：該月報系軟件人員按月向管理部門提交的項目進展情況報告，報告應包括進度計劃與實際執(zhí)行情況的比較、階段成果、遇到的問題和解決的辦法以及下個月的打算等。 項目開發(fā)總結報告：軟件項目開發(fā)完成以后，應與項目實施計劃對照，總結實際執(zhí)行的情況，如進度、成果、資源利用、成本和投入的人力，此外，還需對開發(fā)工作做出評價，總結出經(jīng)驗和教訓。 軟件問題報告：指出軟件問題的登記情況，如日期、發(fā)現(xiàn)人、狀態(tài)、問題所屬模塊等，為軟件修改提供準備文檔。 軟件修改報告：軟件產(chǎn)品投入運行以后，發(fā)現(xiàn)了需對其進行修正、更改等問題，應將

10、存在的問題、修改的考慮以及修改的影響做出詳細的描述，提交審批。 源程序：軟件開發(fā)過程中的全部代碼以及注釋。 2.4驗收標準 代碼：最后在交付客戶之前進行小組內(nèi)評審，代碼編寫符合HB6465標準，與文檔說明保持一致，代碼書寫風格統(tǒng)一，采用標準規(guī)范，沒有下列錯誤：由于軟件缺陷造成丟失數(shù)據(jù)，不符合設計要求，響應時間太長無法接受等問題。 文檔：最后在交付客戶之前進行小組內(nèi)評審，文檔格式符合HB6465標準，功能符合與客戶的合同要求，清晰易讀，沒有語病與歧義。 服務：服務硬件達到文檔說明的要求。 2.5完成項目的最遲期限 交付日期為2017年7月22日 2.6本計劃的審查者與批準者 本

11、項目批準者是學院相關領導老師 3實施總計劃 3.1工作任務的分解和接口人員 3.2進度 進度安排 3.3預算 3.4關鍵問題 項目風險因素 風險 排序 風險項名稱 風險描述 風險緩解方案 1 專業(yè)基礎知識不 牢 本次項目開發(fā)過程中涉及的知識較多，給項目開發(fā)人員帶來一定的困難 進行相應的培訓 2 經(jīng)驗欠缺 成員開發(fā)經(jīng)驗不足， 使項目質量難以保證 只有通過不斷的實踐 3 軟件性能的影響 本次開發(fā)過程中部分 軟件可能容易出現(xiàn)死 機現(xiàn)象 選擇合適的軟件，搭 建良好的配置開發(fā)環(huán) 境 4支持條件 4.1計算機系統(tǒng)支持 模板配置與數(shù)據(jù)分析應用

12、： 系統(tǒng)架構：MVC 開發(fā)工具：Eclipse 數(shù)據(jù)庫：Mysql 開發(fā)技術：java、bootstarp、sql、FreeChart 中間件：Tomcat、jdkl.8 采集工具： 開發(fā)工具：Eclipse 數(shù)據(jù)庫：Mysql、 開發(fā)技術：java、sql、線程池、MD5 環(huán)境要求： CPU：1GHz以上 內(nèi)存：8GB以上 9 4.2 需由用戶承擔的工作 向本小組成員進行培訓，其內(nèi)容包括全文檢索、httpclient等等相關技術。配備相應硬件系統(tǒng)，做到規(guī)范操作，備份好數(shù)據(jù)防止數(shù)據(jù)丟失,軟件交付日期為軟件安裝測試人員提供環(huán)境。 4.3由外單位提供的條件 由學院提供上機環(huán)境及相關知識講座指導。 5專題計劃要點 5.1開發(fā)人員培訓計劃自項目實習之日起，項目相關人員自行安排時間學習，周末按學院要求周末聽講座知識。 5.2測試計劃 項目周期第四周進行各種數(shù)據(jù)測試。 5.3質量保證計劃 嚴格按照項目開發(fā)過程中的各項步驟，從項目立項，可行性研究報告、需求分析報告、項目開發(fā)計劃等，具體實施。