揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,揭示研發(fā)管理白金定律，分享那些激動人心的創(chuàng)新與變革，使得團(tuán)隊獲得過多源動力與更大的推動力！,敏捷的,Web UI,自動化測試框架,摘要,案例簡述,敏捷的,Web UI,自動化測試框架,案例背景,敏捷需要自動化測試,艱辛的自動化測試之路,成功要素,像用戶一樣“測試”軟件,最佳實踐,用戶化的測試腳本,靈活多樣的斷言機(jī)制,根據(jù)腳本自動生成用戶化的報告,發(fā)展規(guī)劃,ROI,分析,案例啟示,案例簡述,敏捷的,Web UI,自動化測試框架,案例簡述,Web,開發(fā)時,UI,框架的廣泛采用極大提高了開發(fā)效率和用戶體驗。,然而,UI,框架自動生成的海量頁面源碼卻讓原本就舉步維艱的,UI,自,動化測試變得雪上加霜。,為了有效解決常見自動化測試工具普遍存在的使用成本高、測試,用例有效性低，以及對不同,Web,技術(shù)測試方案不統(tǒng)一等問題。,我們需要提供一個測試框架，來跨越“技術(shù)”與“用戶”之間的,鴻溝，簡化腳本及斷言條件的編寫和維護(hù)工作、提高對,UI,框架和,業(yè)務(wù)編碼規(guī)范的支持程度，從而降低成本、提升效率。,案例目標(biāo),降低,Web UI,自動化測試的難度和成本，使更項目能真正實現(xiàn),Web UI,層面的自動化測試，從而讓團(tuán)隊真正享受到自動化測試,帶來的收益：,使及時全面的回歸測試、穩(wěn)定性測試、兼容性測試成為可能，為持續(xù)集成提供基礎(chǔ)；,便于重現(xiàn)（或校驗）偶發(fā)性缺陷；,將測試人員從日常大量的重復(fù)性工作中解放出來，可以把更多的精力投入到針對業(yè)務(wù)場景的,測試設(shè)計、用戶體驗測試、性能測試、安全性測試等工作中。,案例背景,敏捷需要自動化測試,需求,測試,設(shè)計,開發(fā),交,付,快速原型設(shè)計,盡早確認(rèn)功能,快速響應(yīng)需求,自動化測試用例都能在當(dāng)天的版本上有效運行么？,敏捷依賴自動化測試，但自動化測試本身夠敏捷么？,可擴(kuò)展的架構(gòu),復(fù)用已有組件,每日站會、迭代演示會,快速開發(fā)工具,持續(xù)集成,案例背景,艱辛的自動化測試之路,學(xué)習(xí)成本高,工具的,操作使用,、相關(guān)的,腳本語言,、測試過程的,調(diào)試分析,，是壓在廣大技術(shù)比較薄弱的測試人員身上的三座大山！,測試,腳本維護(hù),困難,業(yè)界的測試工具本質(zhì),上,還都是,針對頁面源碼,來編寫（或生成,）腳本,的,，,與頁面源碼高度耦合,、,可讀性差,。,頁面的任何變化都極有可能,導(dǎo)致測試腳本不可用,，即使提供腳本錄制工具，我們能做往往也是重新錄制。,斷言,機(jī)制繁瑣呆板,測試腳本中的“斷言”依賴,手工插入,。頁面上蘊(yùn)含大量的信息，潛在的,斷言對象如此之多,、,預(yù)期結(jié)果時常變化,（甚至是動態(tài)的）、,UI,樣式或,UI,邏輯,（比如，翻頁圖標(biāo)灰顯）也很可能出現(xiàn)錯誤。因此，“斷言”可謂是測試,人員的,“噩夢”,！,自定義擴(kuò)展難度大,測試是個系統(tǒng)的工程，自動化測試是,中間的,一個執(zhí)行環(huán)節(jié)。與之關(guān)聯(lián)的工作還有,測試場景設(shè)計,、,測試結(jié)果分析,、,持續(xù)集成,、,版本控制,、,測試用例覆蓋率統(tǒng)計,、,測試環(huán)境搭建,，等等。,自動化測試工具在擴(kuò)展方面的局限性，破壞了測試管理的整體性和一致性。,業(yè)界有很多優(yōu)秀的自動化測試工具，它們都有各自的優(yōu)點，但也普遍存在的一些問題，讓我們舉步維艱,案例背景,艱辛的自動化測試之路,優(yōu)秀,UI,框架,/,工具的采用大大降低了開發(fā)成本和難度,測試,腳本則要面對,UI,框架生成,的海量源碼,用例回放的有效性大幅降低，,自動化,測試變得雪上加霜,頁面,DOM,結(jié)構(gòu)非常,復(fù)雜,所,錄制,/,編寫腳本的復(fù)雜度,變的更大,、,可讀性變得更差,；,即使頁面代碼沒有任何變化，,UI,框架的升級也會導(dǎo)致,DOM,結(jié)構(gòu)的,變化,腳本,無效的風(fēng)險變得更,大,；,控件,ID,是自動生成的，甚至可能隨機(jī),變化,導(dǎo)致,根據(jù),ID,定位控件的策略,無效,；,成功要素,像用戶一樣“測試”軟件,頁面上的不穩(wěn)定因素：,頁面布局、頁面樣式、,UI,框架及版本更新,用戶只關(guān)注體驗，不,Care,具體實現(xiàn)方案；,自動化測試人員為什么會糾結(jié)于此呢？,成功要素,像用戶一樣“測試”軟件,用戶操作時只,關(guān)注頁面上能“看”到的,，,而不用“查看頁面源碼”；,用戶會更,關(guān)注整體業(yè)務(wù)的,正確性、穩(wěn)定性,，而不僅僅是每個孤立頁面的功能正確性；,用戶對,頁面樣式,、,瀏覽器兼容性,要求越來越高；,根據(jù)界面快速編寫測試用例,敏捷應(yīng)對需求的變化；,隔離對技術(shù)實現(xiàn)（,UI,框架、頁面樣式,/,布局）的依賴,敏捷應(yīng)對設(shè)計,/,開發(fā)的變化；,支持跨瀏覽器穩(wěn)定回放,敏捷應(yīng)對環(huán)境的變化,；,“用戶使用軟件”與“自動化測試軟件”之間目前存在一些重要差異,如果能,像用戶使用軟件一樣進(jìn)行自動化測試,，我們會變得更敏捷,敏捷的核心是響應(yīng)變化，,因此,開發(fā)和測試都需要快速響應(yīng)需求的變化,；,而,測試額外還需要快速響應(yīng)開發(fā)的變化,；,實踐,1,用戶化的測試腳本,當(dāng)你在上述界面上進(jìn)行操作時，你心里是否會默念：,“賬號”輸入*、“密碼”輸入*、“姓名”輸入*、“性別”選擇*、“生日”輸入*、,“國籍”選擇*，點擊“保存”按鈕。,類似的，當(dāng)我們?nèi)粘Ｊ褂酶鞣N系統(tǒng)時，心里還會默念：,“展開,/,收攏”樹（,Tree,）的某個節(jié)點、關(guān)閉某個,Tab,頁、,數(shù)據(jù)表格（,Grid,）的下一頁,/,上一頁、,選中數(shù)據(jù)表格（,Grid,）的某一行,如果測試腳本就像這個樣子，大家覺得怎樣？,實踐,1,用戶化的測試腳本,基于界面上,可以“看”到,的內(nèi)容定位對象，對象的操作按照,用戶習(xí)慣,命名。,操作定義,對象類型,腳本示意,實踐,1,用戶化的測試腳本,對象類型,操作定義,腳本示意,基于界面上,可以“看”到,的內(nèi)容定位對象，對象的操作按照,用戶習(xí)慣,命名。,實踐,1,用戶化的測試腳本,對象類型,操作定義,腳本示意,基于界面上,可以“看”到,的內(nèi)容定位對象，對象的操作按照,用戶習(xí)慣,命名。,實踐,1,用戶化的測試腳本,點擊“業(yè)務(wù)角色列表”上的“新增”按鈕,輸入“名稱”和“描述信息”后點擊“保存”,選中“業(yè)務(wù)角色列表”中“,TOP100 Test,”對應(yīng)的行,右側(cè)切換到“應(yīng)用菜單授權(quán)”,Tab,頁,展開“管理控制臺”和“組織機(jī)構(gòu)”樹節(jié)點,選中“用戶管理”樹節(jié)點,點擊“應(yīng)用菜單授權(quán)”上的“保存”按鈕,結(jié)合“角色創(chuàng)建及授權(quán)”功能，看一下其對應(yīng)的用戶化測試腳本實例：,實踐,2,靈活多樣的斷言機(jī)制,斷言對象,頁面信息量大，需要斷言的對象多；,需要在腳本中補(bǔ)充大量斷言語句；,預(yù)期結(jié)果,預(yù)期結(jié)果很可能發(fā)生變化；,預(yù)期結(jié)果的值與腳本邏輯耦合度大；,斷言機(jī)制,未設(shè)定為斷言條件的字段，如果發(fā)生錯誤，無法感知；,UI,樣式及部分,UI,邏輯無法設(shè)為斷言條件；,多,變,呆,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,在測試過程中，可以在任何位置增加斷言事件，來判斷頁面指定控件是否存在、控件顯示值是否為預(yù)期結(jié)果等。,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,測試腳本按照業(yè)務(wù)流程組織并運行，如果某個步驟執(zhí)行錯誤，則當(dāng)前步驟或后續(xù)步驟會出現(xiàn)斷言錯誤。,無需編寫任何斷言語句以及預(yù)期結(jié)果值，但測試設(shè)計要考慮業(yè)務(wù)邏輯順序；,不需要可對比的正確版本，通常適用于項目剛開發(fā)或樣式做整體調(diào)整等情況；,斷言錯誤的位置不精準(zhǔn)，可能延后；,操作過程有截圖備份，可以有效輔助定位準(zhǔn)確的出錯原因；,鑒于回歸測試的時候，通常大部分用例應(yīng)該是可以通過的，,所以此類斷言的投入產(chǎn)出比非常占優(yōu)勢！,測試用例,在“增加”出錯時可能的斷言結(jié)果,增加記錄,A,查詢,A,修改查詢結(jié)果,刪除記錄,A,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,無需編寫任何斷言語句以及預(yù)期結(jié)果值；,用于可提供預(yù)期正確版本的項目，在可持續(xù)構(gòu)建或項目后期比較適用；,能判斷出樣式、頁面邏輯上的“非數(shù)據(jù)”類錯誤；,對比絕對精準(zhǔn)，導(dǎo)致可能存在誤判，因此需要人工對差異圖片進(jìn)行排查；,鑒于回歸測試的時候，通常大部分用例應(yīng)該是可以通過的，,所以此類斷言的投入產(chǎn)出比非常占優(yōu)勢！,通過對比前（之前測試通過）后（后續(xù)持續(xù)發(fā)布）版本在相同測試路徑和入?yún)⑶闆r下的頁面截圖是否嚴(yán)格相同來斷言結(jié)果。,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,支持在用例執(zhí)行過程中嵌入,SQL,語句，以便從數(shù)據(jù)庫中取實際結(jié)果，用于斷言。,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,通過提取頁面,JS,數(shù)據(jù)對象（或,JSON,）、獲取格式化后的頁面文本內(nèi)容，來自動對比判斷結(jié)果是否正確（無需編寫斷言語句）。,原始頁面,頁面文本內(nèi)容,實踐,2,靈活多樣的斷言機(jī)制,頁面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁面級,UI,斷言,后臺數(shù)據(jù)庫斷言,頁面級數(shù)據(jù)斷言,在測試過程中如果一些斷言結(jié)果并不在前臺顯示，就需要自定義后臺斷言（操作移動設(shè)備、網(wǎng)絡(luò)設(shè)備等），并插入到測試執(zhí)行過程中。,實踐,3,根據(jù)腳本自動生成用戶化的報告,傳統(tǒng)的測試腳本,用戶化測試腳本,實踐,3,根據(jù)腳本自動生成用戶化的報告,有效減少文檔格式測試用例的維護(hù)成本，并保證用例和軟件功能的及時同步。,實踐,3,根據(jù)腳本自動生成用戶化的報告,傳統(tǒng)的自動化測試報告（如上圖）可讀性很差，不能直觀的體現(xiàn)整個測試過程。,用戶化的測試報告（如右圖），可以非常直觀的充分還原整個測試過程。極大提升測試結(jié)果的分析效率，降低分析難度。,發(fā)展規(guī)劃,與模型驅(qū)動開發(fā)工具結(jié)合，在模型生成實際頁面的同時，生成用戶化的測試腳本，并進(jìn)行參數(shù)化。,在基于產(chǎn)品線開發(fā)模式的項目中，,支持在裝配軟件特性的同時，裝配測試用例。,與云計算資源管理工具打包，形成完整的,企業(yè)私有測試云解決方案。,案例,ROI,分析,投入,工作量,備注,測試框架研發(fā)成本,6,人月,一次性投入，具體視功能范圍而定,測試腳本語法實現(xiàn),5,人天,一次性投入，可復(fù)用于相同,UI,框架開發(fā)所有項目,測試腳本語法學(xué)習(xí)成本,0.5,人天,掌握基本用法，不含在用例設(shè)計方面的經(jīng)驗積累,覆蓋基本流程的測試腳本開發(fā)工作量相對功能開發(fā)而言，幾乎可以忽略不計；,腳本維護(hù)、運行及結(jié)果分析總工作量降低至原來的,1/10,左右，回落到可控范圍；,降低自動化測試專業(yè)技能要求，團(tuán)隊任何成員都可以完成；,界面可自動化測試的時機(jī)提前，不必等到功能穩(wěn)定之后，有力保障項目過程中每日構(gòu)建工作的開展；,斷言成本降低，準(zhǔn)確率提升，有助于發(fā)現(xiàn)樣式瑕疵、用戶體驗差、內(nèi)存泄露等容易被忽略的缺陷；,其它附加回報,提高自動化測試實施成功幾率、降低文檔格式測試用例維護(hù)成本、擴(kuò)大用例復(fù)用范圍贏得其他團(tuán)隊支持,回報,案例啟示,技術(shù)的發(fā)展是為了讓人類生活變得越來越輕松。,Web,技術(shù)發(fā)展至今已經(jīng)可以讓開發(fā)人員很容易的實現(xiàn)交互性強(qiáng)、展現(xiàn)效果絢的界面，用戶也從中得到非常好的使用體驗。,眾所周知，“優(yōu)秀的測試人員一定要有用戶視角”。,為什么用戶感覺很易用的軟件，實施自動化測試時卻不能像開發(fā)時那么便捷？,主要原因是“自動化測試”并沒有“用戶視角”。,本方案的核心思想就是“像用戶使用軟件一樣的進(jìn)行自動化測試”。,