• 自動秒收錄
                    • 軟件:1973
                    • 資訊:57811|
                    • 收錄網站:279872|

                    IT精英團

                    大數據測試類型大數據測試步驟

                    大數據測試類型大數據測試步驟

                    瀏覽次數:
                    評論次數:
                    編輯: 樂詠
                    信息來源: ITPUB
                    更新日期: 2022-08-13 01:12:06
                    摘要

                    1.隨著數據工程和數據分析技術的不斷進步,大數據測試是不可避免的。2.大數據處理可以是批處理,實時或交互式處理3.測試大數據應用程序的3個階段是數據分級驗證“MapReduce”驗證輸出驗證階段4.架

                    • 正文開始
                    • 相關閱讀
                    • 推薦作品

                    1.隨著數據工程和數據分析技術的不斷進步,大數據測試不可避免。

                    2.大數據處理可以是批處理、實時或交互式處理

                    3.測試大數據應用程序的3個階段是

                    數據分類驗證

                    MapReduce驗證

                    輸出驗證階段

                    4.架構測試是大數據測試的重要階段,因為設計糟糕的系統可能會導致前所未有的錯誤和性能下降。

                    5.大數據的性能測試包括驗證。

                    數據吞吐量

                    數據處理

                    組件性能

                    6.大數據測試與傳統數據測試在數據、基礎設施、驗證工具等方面有很大不同。

                    7.大數據測試挑戰包括虛擬化、測試自動化和大型數據集的處理。大數據應用的性能測試也是一個問題。

                    3354大綱

                    什么是大數據?

                    大數據是一個龐大的數據集,傳統計算技術無法處理。這些數據集的測試需要通過各種工具、技術和框架來處理。大數據涉及數據創建、存儲、檢索和分析,在數量、多樣性和速度方面都很出色。

                    大數據測試類型

                    測試大數據應用更多的是驗證其數據處理,而不是測試軟件產品的單個功能。說到大數據測試,性能和功能測試是關鍵。

                    在大數據測試中,QA工程師使用集群和其他組件來驗證TB級數據的成功處理。因為處理速度非???,所以需要很高的測試技能。處理有三種類型:批處理、實時處理和交互處理。

                    同時,數據質量也是大數據測試的重要因素。在測試應用程序之前,有必要檢查數據的質量,并將其視為數據庫測試的一部分。它包括檢查各種字段,如一致性、準確性、重復性、一致性、有效性、數據完整性等。

                    大數據測試步驟

                    01

                    數據階段驗證

                    大數據測試的第一步,也稱為前hadoop階段,包括以下驗證:

                    1.應該驗證來自各個方面的數據資源,以確保將正確的數據加載到系統中。

                    2.將源數據與推送到Hadoop系統的數據進行比較,確保它們相匹配。

                    3.驗證是否提取了正確的數據,并將其加載到HDFS的正確位置。在這個階段,您可以使用工具Talend或Datameer來驗證數據階段。

                    02

                    MapReduce身份驗證

                    大數據測試的第二步是MapReduce的驗證。在這個階段,測試人員在每個節點上驗證業務邏輯,然后在運行多個節點后進行驗證,以確保以下操作的正確性:

                    1.映射和簡化過程正常工作。

                    2.對數據實施數據聚合或隔離規則。

                    3.生成鍵值對

                    4.執行Map和Reduce過程后驗證數據。

                    03

                    輸出級驗證

                    大數據測試的最后或第三階段是輸出驗證過程。生成數據文件,并將文件移動到EDW(企業數據倉庫:)或任何其他基于需求的系統。第三階段的活動包括:

                    1.檢查是否正確應用了轉換規則。

                    2.檢查數據完整性和成功加載到目標系統的數據。

                    3.通過將目標數據與HDFS文件系統數據進行比較,檢查數據是否損壞。

                    建筑測試

                    doop處理大量的數據,并且是非常耗費資源的。因此,架構測試對于確保您的大數據項目的成功至關重要。系統設計不當或設計不當可能導致性能下降,系統不能滿足要求。至少,性能和故障轉移測試服務應該在Hadoop環境中完成。

                    性能測試包括測試作業完成時間,內存使用率,數據吞吐量和類似的系統指標。而故障轉移測試服務的動機是為了驗證在數據節點發生故障的情況下數據處理是否無縫地發生。

                    性能測試

                    大數據性能測試包括兩個主要的行動,數據采集和整個過程:在這個階段,測試人員驗證快速系統如何消耗來自各種數據源的數據。測試涉及識別隊列在給定時間框架內可以處理的不同消息。它還包括如何快速將數據插入到底層數據存儲中,例如插入到Mongo和Cassandra數據庫中。

                    • 數據處理:它涉及驗證執行查詢或映射縮減作業的速度。它還包括在底層數據存儲填充到數據集中時獨立測試數據處理。例如,在底層HDFS上運行Map Reduce作業

                    • 子組件性能:這些系統由多個組件組成,而且必須單獨測試每個組件。例如,消息的索引和消費速度有多快,mapreduce作業,查詢性能,搜索等

                    性能測試方法

                    大數據應用性能測試涉及大量結構化和非結構化數據的測試,并且需要特定的測試方法來測試這些海量數據。

                    01

                    性能測試按此順序執行

                    1.過程從設置要測試性能的大數據群集開始

                    2.確定和設計相應的工作量

                    3.準備個人客戶(自定義腳本創建)

                    4.執行測試并分析結果(如果不滿足目標,則調整組件并重新執行)

                    5.最佳配置

                    02

                    性能測試的參數

                    性能測試需要驗證的各種參數:

                    1.數據存儲:數據如何存儲在不同的節點中

                    2.提交日志:允許增長的提交日志有多大

                    3.并發性:有多少個線程可以執行寫入和讀取操作

                    4.緩存:調整緩存設置“行緩存”和“鍵緩存”。

                    5.超時:連接超時值,查詢超時值等

                    6.JVM參數:堆大小,GC收集算法等

                    7.地圖降低性能:排序,合并等

                    8.消息隊列:消息速率,大小等。

                    03

                    測試環境需求

                    測試環境需求取決于您正在測試的應用程序的類型。對于大數據測試,測試環境應該包含:

                    1.它應該有足夠的空間來存儲和處理大量的數據

                    2.它應該有分布式節點和數據的集群

                    3.它應該有最低的CPU和內存利用率,以保持高性能。

                    大數據測試面臨的挑戰

                    01

                    自動化

                    大數據的自動化測試需要具有技術專長的人員。另外,自動化工具不具備處理測試過程中出現的意外問題的能力。

                    02

                    虛擬化

                    這是測試的一個不可缺少的階段。虛擬機延遲會在實時大數據測試中造成計時問題。在大數據中管理圖像也是一件麻煩事。

                    03

                    大數據集

                    1.需要驗證更多的數據,并需要更快地完成

                    2.需要自動化測試工作

                    3.需要能夠跨不同的平臺進行測試

                    性能測試挑戰

                    1.多種技術組合:每個子組件屬于不同的技術,需要單獨測試

                    2.不可用的特定工具:沒有一個工具可以執行端到端的測試。例如,NoSQL可能不適合消息隊列

                    3.測試腳本:需要高度的腳本來設計測試場景和測試用例

                    4.測試環境:數據量大,需要特殊的測試環境

                    5.監控解決方案:存在有限的解決方案,可以監控整個環境

                    6.診斷解決方案:需要定制解決方案來深入了解性能瓶頸區域



                    “在看”的永遠18歲~
                    業務運維——打破運維壁壘
                    ? 上一篇 2022-08-13
                    數據庫羅曼史-DBS(數據庫系統)和DBMS(數據庫管理系統)
                    下一篇 ? 2022-08-13
                    • 如何在Ubuntu中保留文件系統并備份當前開發板鏡像
                      0閱讀 0條評論 個贊
                      在Ubuntu保留文件系統或者說備份當前開發板鏡像的需求在不斷增加。比如Ubuntu文件系統需要安裝庫文件的話直接使用apt-get工具就可以下載,但由于需要下載的核心板較多,比較費時間,這時需要將安……
                    • 國產核心板全志T507助力消防系統升級
                      0閱讀 0條評論 個贊
                      9月16日下午,位于湖南長沙市區內的中國電信大樓發生火災,建筑高度218米,現場濃煙滾滾,數十層樓體燃燒劇烈。消防救援人員趕到現場后很快將火勢控制住,目前大樓火勢已被撲滅,所幸未發現人員傷亡。湖南電信……
                    • 教大家如何處理Spring Boot易流中的用戶和群體!
                      0閱讀 0條評論 個贊
                      1.準備工作2.用戶操作2.1添加用戶2.2修改用戶2.3刪除用戶2.4查詢用戶3.組操作3.1添加組3.2修改組3.3刪除組3.4查詢組4.查看表詳情雖然說我們在實際開發中,……
                    • 從PG15開始WAL壓縮優化
                      0閱讀 0條評論 個贊
                      PG15傳聞中的超級令人激動的功能大多數跳票了,年初我也寫過一個關于PG15新功能跳票的文章。PG15BETA已經發出幾個月了,似乎PG15里令人激動人心的功能不多,不過從長長的新功能列表里,……
                    • 深入了解美團葉子發射器開源方案
                      0閱讀 0條評論 個贊
                      大家好,我是樹哥。之前我們有聊過「如何設計一個分布式ID發號器」,其中有講過4種解決方案,分別是:UUID類雪花算法數據庫自增主鍵Redis原子自增美團以第2、3種解決方案為基礎,開發出……
                    發表評論 共有條評論
                    用戶名: 密碼:
                    驗證碼: 匿名發表
                    • SQL Server備份和還原攻略
                      0閱讀 0條評論 個贊
                      一、知識點完全備份:備份全部選中的文件夾,并不依賴文件的存檔屬性來確定備份那些文件。(在備份過程中,任何現有的標記都被清除,每個文件都被標記為已備份,換言之,清除存檔屬性)。完全備份也叫完整備份。差異……
                    • 長文解讀春季交易!隔離?傳播性?網被消滅了!
                      9閱讀 0條評論 個贊
                      1.什么是事務2.Spring中的事務2.1兩種用法2.2三大基礎設施3.編程式事務4.聲明式事務4.1XML配置4.2Java配置4.3混合配置5.事務屬性5.1隔離性5……
                    • 轉:Java老了 科特林會取而代之嗎?
                      0閱讀 0條評論 個贊
                      .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
                    • SQL Server表變量和臨時表的區別
                      0閱讀 0條評論 個贊
                      一、表變量表變量在SQLServer2000中首次被引入。表變量的具體定義包括列定義,列名,數據類型和約束。而在表變量中可以使用的約束包括主鍵約束,唯一約束,NULL約束和CHECK約束(外鍵……
                    • 數據庫發展史1-傳統數據庫
                      0閱讀 0條評論 個贊
                      1946年,美國賓夕法尼亞大學誕生了人類第一臺電子計算機--ENIAC(ElectronicNumericalIntegratorAndComputer,即電子數字積分計算機),這個占地170……
                    • MySQL查詢性能優化指數下推的七大武器
                      0閱讀 0條評論 個贊
                      前面已經講了MySQL的其他查詢性能優化方式,沒看過可以去了解一下:MySQL查詢性能優化七種武器之索引潛水MySQL查詢性能優化七種武器之鏈路追蹤今天要講的是MySQL的另一種查詢性能優化方式—索……
                    • 卡夫卡數據丟失問題優化總結及重復消費原因分析(二)
                      0閱讀 0條評論 個贊
                      .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
                    • 設計模式介紹——單一模式
                      0閱讀 0條評論 個贊
                      簡介一個類只允許創建一個對象(或實例),那么這個類就是一個單例類,這種設計模式稱作單例設計模式(SingletonDesignPattern),簡稱單例模式。單例模式保證系統內存中只存在一個對象,……
                    • 詳細解釋MySQL隔離級別
                      0閱讀 0條評論 個贊
                      一個事務具有ACID特性,也就是(Atomicity、Consistency、Isolation、Durability,即原子性、一致性、隔離性、持久性),本文主要講解一下其中的Isolation,也……
                    • k8s網絡持久存儲的StorageClass(如何一步步實現動態持久存儲)
                      0閱讀 0條評論 個贊
                      StorageClass的作用:創建pv時,先要創建各種固定大小的PV,而這些PV都是手動創建的,當業務量上來時,需要創建很多的PV,過程非常麻煩。而且開發人員在申請PVC資源時,還不一定有匹配條件的……
                    • SQL Server:觸發器的詳細說明
                      0閱讀 0條評論 個贊
                      1.概述2.觸發器的分類3.Inserted和Deleted表4.觸發器的執行過程5.創建觸發器6.修改觸發器:7.刪除觸發器:8.查看數據庫中已有觸發器:9.“Insteadof……
                    • 卡夫卡詳解(一)——卡夫卡是什么 怎么用
                      0閱讀 0條評論 個贊
                      kafka是什么在回答這個問題之前,我們需要先了解另一個東西--eventstreaming。什么是eventstreaming我覺得,eventstreaming是一個動態的概念,它描述了一……
                    • 拓撲嶺CEO雷鵬:創業不只是技術
                      0閱讀 0條評論 個贊
                      云計算的出現,加速了企業信息技術的發展。數據庫是最常用的基礎軟件之一,它通常能提供計算和存儲的能力。雖然分布式數據庫也做到了很好的擴展性,但它不能算是「云原生」?!冈圃鷶祿臁沟暮诵?,是要設計一種更……
                    • SQL Server數據庫性能優化
                      0閱讀 0條評論 個贊
                      分析比較執行時間計劃讀取情況1.查看執行時間和cpusetstatisticstimeonselect*fromBus_DevHistoryDatasetstatisticstime……
                    • 深入了解美團葉子發射器開源方案
                      0閱讀 0條評論 個贊
                      大家好,我是樹哥。之前我們有聊過「如何設計一個分布式ID發號器」,其中有講過4種解決方案,分別是:UUID類雪花算法數據庫自增主鍵Redis原子自增美團以第2、3種解決方案為基礎,開發出……
                    • 如何使用spark或hive sql將Excel文件加載到hive表中
                      0閱讀 0條評論 個贊
                      .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
                    • 你知道信息架構圖和功能架構圖的區別嗎?
                      0閱讀 0條評論 個贊
                      .css-1yuhvjn{margin-top:16px;}.css-3jt6os.FileLinkCard{-webkit-align-items:center;-webkit-box-align……
                    • 當老板讓我從Java8升級到Java11時
                      4閱讀 0條評論 個贊
                      老板讓我把一個項目從Java8遷移到Java11,我該怎么辦呢?最簡單的辦法,當然是直接強行升級,遇到一個錯就改一個錯,別看它low,但是對于一個小型且非核心的項目來說,已經足夠了。當然,……
                    • 教大家如何處理Spring Boot易流中的用戶和群體!
                      0閱讀 0條評論 個贊
                      1.準備工作2.用戶操作2.1添加用戶2.2修改用戶2.3刪除用戶2.4查詢用戶3.組操作3.1添加組3.2修改組3.3刪除組3.4查詢組4.查看表詳情雖然說我們在實際開發中,……
                    • Linux驅動開發十六 輸入系統33543 系統附帶的輸入驅動程序
                      0閱讀 0條評論 個贊
                      前面兩章我們通過input子系統構建了一個按鍵類型的輸入設備的驅動,其實Linux的內核還提供了一套基于GPIO的按鍵驅動程序,和LED設備一樣,我們只需要在編譯內核的過程中進行配置然后在設備樹中定義……
                    最近發布資訊
                    更多
                    被闺蜜的男朋友cao到跪地求饶