從時空大數據呈現是深度洞察的基礎,談影像大數據的「獲取即發布」
這個題目中的一部分,並不是超擎小博士自己想出來的,而是受之前文章下面評論的啟發:
A君:單純的數據展現不知道有什麼意義...
B君:數據呈現是數據分析的基礎呀!
這段對話讓小博士感觸頗多,在工作和研究中,很多人都會問:數據只是呈現有什麼意義?超擎經常所說的「TB級數據,秒級響應」,「PB級數據,獲取即發布」,極速發布呈現又能怎麼樣?只是查看而已,事實上,時空大數據的呈現與分析更加緊密相關。
時空大數據處理屬於計算機圖形學的一部分,在大部分情況下,其呈現與分析的邊界無法強行區隔,而是從圖形獲取到信息提取的一個連續、流暢、完整的過程。我們可以感受一下,下面兩幅衛星影像便是同一區域不同時相的對比,我們用肉眼就能很明顯地觀察到,平地而起的建築群:
自然災害的損壞程度:
更不要提這樣32年的滄海桑田變遷了:
對於生物體來說,信息的獲取與處理是同時的。我們聽到或讀到一句話,就能分析其中的意義;我們看到景象,就會自動對某些信息進行提取。所以,大數據處理的實時性被提到一個非常重要的位置,對海量圖形的信息獲取做到近乎生物體,這不禁使人聯想起《未來簡史》的作者提出的觀點:人越來越像神。
如果說什麼讓人越來越像神,時空大數據肯定位列其中,而瀏覽高分衛星影像會讓你能夠更加直觀地體驗這種感受:在絕對高空俯瞰大地。
相比人類自行繪製的地圖,影像數據反映的世界更加客觀、真實、全面,並且獲取快速。而近年來高分衛星發展迅猛,人類不斷追逐與挑戰高解析度,也是源於一種「站得更高、望得更遠、看得更清」的原始渴望,今年甚至傳出了日本能夠做到厘米級精度的衛星影像的訊息。
越來越多的衛星上天、高分影像的不斷下傳,意味著隨之而來比以往更為海量的影像數據,據統計,全球空間數據量已達到ZB級,影像數據做為其主要的數據形式,佔比高、分布廣,新興的無人機、三維影像、VR等行業也將帶來多源、更新快速的影像數據,密集而廣泛的應用,將使影像數據野蠻增長,真正成為影像「大」數據。
但是從衛星獲取並下傳,直到可以讓我們清晰地隨意查看,並不是一蹴而就的,其中會經歷很多分裂的過程,例如RPC校正、投影坐標系轉換,發布之前的預處理(影像的金字塔預切片),直到可以在客戶端進行全解析度瀏覽,並且可以與高光譜分析等手段進行結合,這樣一來,可以長達數天。也許你會說,我們可以等,研究不心急。但是在與實際業務的結合中,不無法等待:災區需要更加精確的救援指揮指導,污染糾察需要更加快速與明確的污染源分析,土地資源的非法佔用要雷厲風行...
所以,在不斷的鑽研中,超擎小博士的團隊開發影像大數據服務。
首先,我們實現了數據的無需預切片,PB級影像數據獲取即發布的效率。
其次,我們實現了海量影像數據的自動化、全生命周期管理,並且能夠為後續數據應用打了一個好基礎:採用簡約而靈活的影像數據管理結構,實現了影像數據的高效管理與發布、查詢瀏覽、下載分發、處理分析的全生命周期自動化管理。我們先來談談影像大數據的自動化管理。
獲取即發布的自動化管理流程
針對海量遙感影像的不斷獲取與持續更新帶來的大量數據處理工作,超擎影像數據服務通過自動化數據生產,盡量減少人工干預,降低風險,實現了流暢而智能的數據全生命周期應用管理。
- 入庫即處理
通過實時觸發機制,對衛星下傳數據進行動態RPC校正及投影坐標系轉換等一系列處理操作,無需人工處理和管理,實現了數據入庫即處理、自動更新的高效率、全自動化的數據處理體驗。
2. 入庫即發布
對於系統自動化處理後的數據實時發布成數據服務,無需切片預處理,實現多時相歷史數據的高效發布,客戶端實現全解析度實時瀏覽,提高數據服務能力和用戶體驗。
3. 入庫即分析
發布後與數據分析模型進行高效結合,如數據對比、特徵提取、高光譜分析等等實現數據自動化輸入成果自動化輸出的高性能應用平台。
影像大數據高效存儲與管理
傳統的影像數據發布模式採用將影像數據進行分層分塊預先切片生成圖片,位於金字塔下部的幾層影像的數據量十分龐大,佔用了大量的硬體計算資源與計算時間,也對影像數據的快速漫遊顯示造成極大的影響。
針對上述問題,超擎時空影像大數據服務開發了高效的存儲管理系統,不僅支持多種文件系統集成,包括NAS、HDFS等文件系統,更支持影像和元數據分離管理,元數據和影像分開存儲。
說完了獲取即發布的影像管理機制,我們來談一下,用戶可以在這樣的影像基礎上,實現什麼功能:
強大而易用的影像數據專業功能
在影像數據使用過程中,不僅需要流暢的處理過程,更需要專業數據功能,與業務需求進行深度結合。超擎影像大數據服務提供了多項專業的影像數據功能,支持快速形成影像定製服務並進行分享。
- 二三維一體化瀏覽
超擎影像移動瀏覽終端採用WebGL技術集成了二三維一體化的瀏覽,支持二維平滑切換到三維立體。
- 高程(DEM)和三維地形瀏覽
在三維中,影像疊加地形數據後,能夠真實的呈現出三維地形效果下的影像數據。
- 全文索引和位置檢索
影像瀏覽中支持方便的通過文本信息檢索地理位置,也可直接根據坐標信息進行定位。
- 捲簾和分屏
分屏和捲簾操作通常用於方便對比不同時空數據在同一區域的差異,常用於國土資源管理、污染查源、應急救災等領域。
- 多時相瀏覽
將不同的影像或矢量圖像以透明的方式疊加在一起顯示,以便能夠查看地理環境、社會變化趨勢等。
- 矢量標繪
超擎影像系統按照軍事標繪標準設計和研發,標繪功能易用、流暢、快捷、細緻。標繪數據通過數據同步服務,可以方便的實時上傳,並與其它終端同步,用於實時傳達指令,組織協同。
- 覆蓋物分析和變化檢測
- 影像目標識別
支持敏捷開發與便捷數據應用
- 豐富的數據格式支持
超擎時空影像服務提供了豐富的輸入和輸出影像格式,支持高達上百個的通用和地方坐標系,以及不同解析度的著名比例尺集。並能以WMTS和WMS方式瀏覽所有支持坐標系的影像(無需轉為WGS84或墨卡托後瀏覽)。
- 支持OGC標準和自定義標準服務
系統支持通過標準的OGC WMTS服務對影像數據進行訪問,能夠極大地減少由於數據接入帶來的額外開發工作,增強了數據的互操作性與平台的數據服務能力。
- 支持二次開發和應用系統集成
超擎時空影像大數據服務提供了一套完整的影像開發介面,通過這些介面用戶可以搭建自己的應用平台,同時可以通過REST Service介面調用該平台發布的影像服務,二次開發與應用系統的集成簡單快捷。
- 基於雲計算平台設計(部署方式)
支持公有雲與私有雲兩種環境下的多種部署形式,滿足企業用戶需求;提供在線服務,支持各種瀏覽器、電腦、移動設備(手機與PAD),以及特種低配置手持設備對海量時空數據的極速呈現與分析。
當信息處理的速度影像有能力跟上獲取速度,影像數據的應用模式也將隨之改變——從單純的獲取數據過渡到了提煉與分析信息目標,縱向擴展了數據的分析與應用特性。而彈性與高擴展的數據體系架構,簡潔、易用的專業功能,為後續的數據安全、業務結合、二次開發奠定了基礎,成為高分衛星、VR、無人機等影像處理不可或缺的重要環節。想了解更多超擎影像內容?歡迎關注微信:超擎,更多行業應用案例,等你挖掘。
推薦閱讀: