APP測試點總結:一
1.功能性測試:
——根據產品需求文檔編寫測試用例。
——軟體設計文檔編寫用例。
注意:就是根據產品需求文檔編寫測試用例而進行測試。
2.兼容性測試:
——android版本的兼容性
——手機解析度兼容性
——網路的兼容性:2G3G4GWIFI,弱網下、斷網時
——app跨版本的兼容性
1.適配性測試:
1>.手機不同解析度支持:客戶端支持的解析度等
2>.手機不同版本的支持:2.34.04.4等;在測試計劃中:需要安排單獨的時間用於android不同系統的兼容性測試,包括2.0以下版本和4.0以上等
3>.手機不同廠家系統的支持:不同廠家會有不同android系統,例如:小米,華為,鎚子對市面上主流手機的支持
4>.手機不同尺寸的支持:3.5到5.0屏幕在UI顯示有區別,要支持最大到最小。
2.安裝、卸載測試:
1>.生成apk文件在真機上可以安裝及卸載;
2>.Android手機端通用安裝工具。如:豌豆莢
3.在線升級測試:
1>.驗證數字簽名
2>.升級後可以正常使用。
3>.在線跨版本升級。
3.性能測試:
——壓力測試:
——電量流量測試:
——cup、內存消耗:
——app啟動時長
——crash率
——內存泄漏
4.網路測試:
1.外網測試主要現實模擬客戶使用網路環境,檢驗客戶單程序在實際網若環境中使用情況及進行業務操作。
2.外網測試主要覆蓋到wifi2G3G4G,.netwap、電信移動聯通、所有可能的組合進行測試。
原則:
1.儘可能全面覆蓋用戶的使用場景,測試用例中需要包含不同網路排列組合的各種可能。
2.還有模擬信號被屏蔽時候。客戶端的影響等。還有做外包場景測試,在高山、丘陵、火車上等特殊環境下進行全面測試
5.介面性測試:
——client端和service端的交互
——client端的數據更新和service端的數據是否一致
——client端更新時斷開了。
——client端更新時service端掛了。
6.業務邏輯測試:
1.業務邏輯測試:主要測試客戶端業務能否正常完成。
2.功能點測試:主要測試客戶端功能點是否正常使用
3.關聯性測試:主要測試客戶端與pc端的交互,客戶端處理完後,pc端與客戶端數據一致
7.異常測試:
1.交互異常性測試:客戶端作為手機特性測試,包括被打擾的情況;如來電、來簡訊、低電量測試等,還要注意手機端硬體上,如:待機,插拔數據線、耳機等操作不會影響客戶端。
2.異常性測試:主要包含了斷網、斷電、伺服器異常等情況下,客戶端能否正常處理,保證數據正確性。
客戶端側性能測試:
1.基準性能測試:主要通過壓伺服器端介面及客戶端在不同網路環境下響應速度。
2.大數量的測試:主要在特定環境下,客戶端一次性更新大量的數據及人員列表時,客戶端能否正常處理,分為三種情況:
——客戶端第一次使用,第一次就更新大量數據及人員列表。
——客戶端在平時更新中,更新大量的數據
——客戶端已經在手機本地下載很多數據後,再次更新大量
如果想要在測試方面獲得進一步的提升,那麼你就需要學會使用App測試工具。一方面,通過測試工具可以代替你做重複繁瑣的部分工作,你節省出的是更多的學習時間,另一方面,這些工具還會為你提供大量的遊戲運行數據和日誌,有了這些數據你就能更方便的判斷問題發生的原因,這寫數據的解讀能力將是你未來的最大競爭力。
1、安全測試(許可權)
1)軟體許可權:其中包括發送信息,撥打電話,鏈接網路,訪問手機信息,聯繫人信息等等
2)數據在本地的存儲、傳輸等
3)執行某些操作時導致的輸入有效性驗證、授權、數據加密等方面
4)基於各種通信協議或者行業標準來檢查
2、安裝運行卸載測試
1)驗證app能否正確安裝運行卸載,以及操作過程和操作前後對系統資源的佔有情況
2)安裝運行卸載的提示,報告等
3)檢查安裝路徑,文件是否合理,組件是否正確註冊等
3、UI測試
1)用戶界面(菜單、對話框、窗口)等布局,風格是否滿足用戶需求,文字位置,描述是否正確,界面美觀程度,文字圖片組合是否合理
2)用戶友好性、人性化、便於操作等
4、功能測試
1)評審需求,多方面考慮,整理出內在外在以及非功能性的直接間接功能點,對比需求,提取測試點
2)根據常用的一些分析方法,等價類邊界值判定表因果圖場景法等方法,設計測試用例,對提取的功能點進行覆蓋
3)測試各個階段不斷跟蹤缺陷,做好用例的更新迭代和不斷變更需求所帶來的業務或者需求的錯誤
5、性能測試
1)極限測試:各種邊界情況下驗證app的響應能力
如:低電量、儲存滿。弱網等情況
2)響應能力測試:驗證各種情況下不同操作能否滿足用戶響應需求
3)壓力測試:反覆長期操作下,系統該資源的使用情況
6、中斷測試(干擾)
比如:前後台運行時來電話,簡訊,下載文件,聽音樂看電影等不同情況下的表現
7、兼容測試
1)不同網路環境(WiFi、2G、3G、4G等)
2)各種設備品牌機型系統版本等兼容
蘋果、安卓(不同品牌,不同安卓系統版本)等
8、回歸測試
bug修復後的回歸測試,上線交付前進行全部的回歸,驗證
9、升級更新測試
每次app版本迭代更新時,配合不同網路環境,及不同更新許可權(強制更新,不強制更新),進行下載、安裝、更新、啟動運行等測試
10、支付測試
1)支付結果的確認,資料庫查詢
2)請求報文是否加密
3)不同場景的支付
金額足夠、金額不足、重複支付、無網支付、弱網支付、同賬號多平台一起支付、餘額寶微信信用卡等多種支付方式、不同支付方式的組合、密碼正確/錯誤、支付上限等情況
2.1安全測試
2.1.1軟體許可權
1)扣費風險:包括發送簡訊、撥打電話、連接網路等
2)隱私泄露風險:包括訪問手機信息、訪問聯繫人信息等
3)對App的輸入有效性校驗、認證、授權、敏感數據存儲、數據加密等方面進行檢測
4)限制/允許使用手機功能接人互聯網
5)限制/允許使用手機發送接受信息功能
6)限制/允許應用程序來註冊自動啟動應用程序
7)限制或使用本地連接
8)限制/允許使用手機拍照或錄音
9)限制/允許使用手機讀取用戶數據
10)限制/允許使用手機寫人用戶數據
11)檢測App的用戶授權級別、數據泄漏、非法授權訪問等
2.1.2安裝與卸載安全性
1)應用程序應能正確安裝到設備驅動程序上
2)能夠在安裝設備驅動程序上找到應用程序的相應圖標
3)是否包含數字簽名信息
4)JAD文件和 JAR包中包含的所有託管屬性及其值必需是正確的
5)JAD文件顯示的資料內容與應用程序顯示的資料內容應一致
6)安裝路徑應能指定
7)沒有用戶的允許,應用程序不能預先設定自動啟動
8)卸載是否安全,其安裝進去的文件是否全部卸載
9)卸載用戶使用過程中產生的文件是否有提示
10)其修改的配置信息是否復原
11)卸載是否影響其他軟體的功能
12)卸載應該移除所有的文件
2.1.3數據安全性
1)當將密碼或其他的敏感數據輸人到應用程序時,其不會被儲存在設備中,同時密碼也不會
被解碼
2)輸人的密碼將不以明文形式進行顯示
3)密碼,信用卡明細,或其他的敏感數據將不被儲存在它們預輸人的位置上
4)不同的應用程序的個人身份證或密碼長度必需至少在 4一 8個數字長度之間
5)當應用程序處理信用卡明細,或其他的敏感數據時,不以明文形式將數據寫到其它單獨的
文件或者臨時文件中。以 6)防止應用程序異常終止而又沒有側除它的臨時文件,文件可能
遭受人侵者的襲擊,然後讀取這些數據信息。
7)當將敏感數據輸人到應用程序時,其不會被儲存在設備中
8)備份應該加密,恢複數據應考慮恢復過程的異常?通訊中斷等,數據恢復後再使用前應該
經過校驗
9)應用程序應考慮系統或者虛擬機器產生的用戶提示信息或安全替告
10)應用程序不能忽略系統或者虛擬機器產生的用戶提示信息或安全警告,更不能在安全警
告顯示前,,利用顯示誤導信息欺騙用戶,應用程序不應該模擬進行安全警告誤導用戶
11)在數據刪除之前,應用程序應當通知用戶或者應用程序提供一個「取消」命令的操作
12)「取消」命令操作能夠按照設計要求實現其功能
13)應用程序應當能夠處理當不允許應用軟體連接到個人信息管理的情況
14)當進行讀或寫用戶信息操作時,應用程序將會向用戶發送一個操作錯誤的提示信息
15)在沒有用戶明確許可的前提下不損壞側除個人信息管理應用程序中的任何內容Μ
16)應用程序讀和寫數據正確。
17)應用程序應當有異常保護。
18)如果資料庫中重要的數據正要被重寫,應及時告知用戶
19)能合理地處理出現的錯誤
20)意外情況下應提示用戶
2.1.4通訊安全性
1)在運行其軟體過程中,如果有來電、SMS、EMS、MMS、藍牙、紅外等通訊或充電時,是
否能暫停程序,優先處理通信,並在處理完畢後能正常恢復軟體,繼續其原來的功能
2)當創立連接時,應用程序能夠處理因為網路連接中斷,進而告訴用戶連接中斷的情況
3)應能處理通訊延時或中斷
4)應用程序將保持工作到通訊超時,進而發送給用戶一個錯誤信息指示有連接錯誤
5)應能處理網路異常和及時將異常情況通報用戶
6)應用程序關閉或網路連接不再使用時應及時關閉)斷開
7) HTTP、HTTPS覆蓋測試
--App和後台服務一般都是通過 HTTP來交互的,驗證 HTTP環境下是否正常;
--公共免費網路環境中(如:麥當勞、星巴克等)都要輸入用戶名和密碼,通過 SSL認證
來訪問網路,需要對使用 HTTP Client的 library異常作捕獲處理。
2.1.5人機介面安全性
1)返回菜單總保持可用
2)命令有優先權順序
3)聲音的設置不影響應用程序的功能
4)應用程序必需利用目標設備適用的全屏尺寸來顯示上述內容
5)應用程序必需能夠處理不可預知的用戶操作,例如錯誤的操作和同時按下多個鍵
2.2安裝、卸載測試
驗證 App是否能正確安裝、運行、卸載
2.2.1安裝
1)軟體在不同操作系統(Palm OS、Symbian、Linux、Android、iOS、Black Berry OS 6.0、
Windows Phone 7)下安裝是否正常。
2)軟體安裝後的是否能夠正常運行,安裝後的文件夾及文件是否寫到了指定的目錄里。
3)軟體安裝各個選項的組合是否符合概要設計說明
4))軟體安裝嚮導的 UI測試
5)軟體安裝過程是否可以取消,點擊取消後,寫入的文件是否如概要設計說明處理
6)軟體安裝過程中意外情況的處理是否符合需求(如死機,重啟,斷電)
7)安裝空間不足時是否有相應提示
8)安裝後沒有生成多餘的目錄結構和文件
9)對於需要通過網路驗證之類的安裝,在斷網情況下嘗試一下
10)還需要對安裝手冊進行測試,依照安裝手冊是否能順利安裝
2.2.2卸載
1)直接刪除安裝文件夾卸載是否有提示信息。
2)測試系統直接卸載程序是否有提示信息。
3)測試卸載後文件是否全部刪除所有的安裝文件夾。
4)卸載過程中出現的意外情況的測試(如死機、斷電、重啟)。
5)卸載是否支持取消功能,單擊取消後軟體卸載的情況。
6)系統直接卸載 UI測試,是否有卸載狀態進度條提示。
2.3 UI測試
測試用戶界面(如菜單、對話框、窗口和其它可規控制項)布局、風格是否滿足客戶要求、文字
是否正確、頁面是否美觀、文字、圖片組合是否完美、操作是否友好等。
UI測試的目標是確保用戶界面會通過測試對象的功能來為用戶提供相應的訪問或瀏覓功能。
確保用戶界面符合公司或行業的標準。包括用戶友好性、人性化、易操作性測試。
2.3.1導航測試
1)按鈕、對話框、列表和窗口等;或在不同的連接頁面之間需要導航
2)是否易於導航,導航是否直觀
3)是否需要搜索引擎
4)導航幫助是否準確直觀
5)導航與頁面結構、菜單、連接頁面的風格是否一致
2.3.2圖形測試
1)橫向比較。各控制項操作方式統一
2)自適應界面設計,內容根據窗口大小自適應
3)頁面標籤風格是否統一
4)頁面是否美觀
5)頁面的圖片應有其實際意義而要求整體有序美觀
6)圖片質量要高且圖片尺寸在設計符合要求的情況下應盡量小
7)界面整體使用的顏色不宜過多
2.3.3內容測試
1)輸入框說明文字的內容與系統功能是否一致
2)文字長度是否加以限制
3)文字內容是否表意不明
4)是否有錯別字
5)信息是否為中文顯示
6)是否有敏感性辭彙、關鍵詞
7)是否有敏感性圖片,如:涉及版權、專利、隱私等圖片
2.4功能測試
根據軟體說明或用戶需求驗證 App的各個功能實現,採用如下方法實現並評估功能測試過
程:
1)採用時間、地點、對象、行為和背景五元素或業務分析等方法分析、提煉 App的用戶使用
場景,對比說明或需求,整理出內在、外在及非功能直接相關的需求,構建測試點,並明確
測試標準,若用戶需求中無明確標準遵循,則需要參考行業或相關國際標準或準則。
2)根據被測功能點的特性列丼出相應類型的測試用例對其進行覆蓋,如;涉及輸入的地方需
要考慮等價、邊界、負面、異常或非法、場景回滾、關聯測試等測試類型對其進行覆蓋。
3)在測試實現的各個階段跟蹤測試實現與需求輸入的覆蓋情況,及時修正業務或需求理解錯
誤。
2.4.1運行
1)App安裝完成後的試運行,可正常打開軟體。
2)App打開測試,是否有載入狀態進度提示。
3)App打開速度測試,速度是否可觀。
4)App頁面間的切換是否流暢,邏輯是否正確
5)註冊
--同表單編輯頁面
--用戶名密碼長度
--註冊後的提示頁面
--前台註冊頁面和後台的管理頁面數據是否一致
--註冊後,在後台管理中頁面提示
6)登錄
--使用合法的用戶登錄系統。
--系統是否允許多次非法的登陸,是否有次數限制。
--使用已經登陸的賬號登陸系統是否正確處理。
--使用禁用的賬號登陸系統是否正確處理。
--用戶名、口令(密碼)錯誤或漏填時能否登陸。
--刪除或修改後的用戶,原用戶登陸。
--不輸入用戶口令和用戶、重複點(確定或取消按鈕)是否允許登陸。
--登陸後,頁面中登陸信息。
--頁面中有註銷按鈕。
--登陸超時的處理。
7)註銷
--註銷原模塊,新的模塊系統能否正確處理。
--終止註銷能否返回原模塊,原用戶。
--註銷原用戶,新用戶系統能否正確處理。
--使用錯誤的賬號、口令、無許可權的被禁用的賬號進行註銷
2.4.2應用的前後台切換
1) APP切換到後台,再回到 app,檢查是否停留在上一次操作界面。
2) APP切換到後台,再回到 app,檢查功能及應用狀態是否正常,IOS4和 IOS5的版本的處
理機制有的不一樣。
3) app切換到後台,再回到前台時,注意程序是否崩潰,功能狀態是否正常,尤其是對於從
後台切換回前台數據有自動更新的時候。
4)手機鎖屏解屏後進入 app注意是否會崩潰,功能狀態是否正常,尤其是對於從後台切換
回前台數據有自動更新的時候。
5)當 App使用過程中有電話進來中斷後再切換到 app,功能狀態是否正常
6)當殺掉 app進程後,再開啟 app,app能否正常啟動。
7)出現必須處理的提示框後,切換到後台,再切換回來,檢查提示框是否還存在,有時候
會出現應用自動跳過提示框的缺陷。
8)對於有數據交換的頁面,每個頁面都必需要進行前後台切換、鎖屏的測試,這種頁面最
容易出現崩潰。
2.4.3免登錄
很多應用提供免登錄功能,當應用開啟時自動以上一次登錄的用戶身份來使用app.
1) app有免登錄功能時,需要考慮IOS版本差異。
2)考慮無網路情況時能否正常進入免登錄狀態。
3)切換用戶登錄後,要校驗用戶登錄信息及數據內容是否相應更新,確保原用戶退出。
4)根據MTOP的現有規則,一個帳戶只允許登錄一台機器。所以,需要檢查一個帳戶登錄多
台手機的情況。原手機里的用戶需要被踢出,給出友好提示。
5) app切換到後台,再切回前台的校驗
6)切換到後台,再切換回前台的測試
7)密碼更換後,檢查有數據交換時是否進行了有效身份的校驗
8)支持自動登錄的應用在進行數據交換時,檢查系統是否能自動登錄成功並且數據操作無
誤。
9) 檢查用戶主動退出登錄後,下次啟動app,應停留在登錄界
推薦閱讀:
※軟體測試藍圖:軟體測試理論到實戰進階,一篇文章就夠了
※測試工程師的問題敏感度
※App測試點總結(1)
※軟體測試培訓學習後發展前景怎麼樣
※提高處理BUG效率第一步:提高測試工程師排查BUG能力