自主創新,打造一站式地理雲平台

中國城市規劃設計研究院領銜建設的「全國新型城鎮化監控與評估平台」已經正式發布。平台融合了人口、土地、經濟、公共服務、資源環境等多維數據,在時空中延伸,構成「數字矩陣」;同時疊加不同尺度的規劃評估模型、監測系統,通過數據挖掘與機器學習為「數字矩陣」賦能,最終構建涵蓋城鎮化監測、規劃評估、城市體檢的綜合平台。極海作為合作方全程參與了平台規劃及建設。極海地理雲平台作為基礎技術支撐平台,也充分發揮了自身優勢和特色。


一站式地理雲平台

極海平台的定位是一站式地理雲平台,目標是利用雲計算、大數據、以及人工智慧技術,幫助用戶解決與地理位置數據有關的各個環節的問題。具體一點來說,我們認為,處理地理數據問題,無外乎解決三個層面的問題:數據、模型、可視化

  • 數據 指的是獲取和管理數據。在極海平台,用戶不僅可以使用自己的數據,也可以使用極海平台提供的公共數據。目前也在積極研發深度的數據產品,未來都會提供給用戶使用。
  • 模型 指的是對數據做分析挖掘。之所以重視數據,是因為我們的終極目標是分析挖掘和輔助決策。這需要數據分析和模型來支撐。
  • 可視化 指的是把數據客觀的、豐富多彩的呈現出來。不管是地理數據本身,還是分析預測的結果,最終都要可視化出來,讓人能看到才有意義。地理數據帶有位置信息,可視化手段和方式會有很大差別。這為可視化帶來挑戰,尤其是數據大到一定量級。數據、模型、可視化,會出現在數據處理分析和業務流程中的各個環節,要為用戶所用,還需要一個成熟穩定的平台,把這些落實成具體的產品。


數據

首先是用戶數據。關於地理數據大家都有體驗,格式多樣,有的有坐標,有的沒有坐標,坐標系統還可能不一樣。極海平台提供了全格式數據錄入工具來解決這些問題。支持的格式除了這些常見的地理數據格式,也支持像Excel、CSV這樣的文本數據。數據上傳到平台以後,雲端會做一系列的工作。比如說,把地址數據通過地理編碼轉成坐標,統一坐標系,大文件快速存儲。數據一旦進入平台,數據本身也變成了一種服務。目前千萬量級的文本數據,極海平台5分鐘以內就能完成入庫。

除了用戶數據,極海平台還提供公共數據。這些數據按照覆蓋的行政區,按照分類體系組織。用戶可快速查找感興趣的數據。公共數據目前已積累了十幾個大類,數據量達到億萬級;涵蓋不同的行業、不同的領域;數據也在不斷更新迭代,最快的數據一個小時就會更新一次;極海有專門的數據團隊採用大規模自動化處理技術來提升數據處理效率、利用智能數據處理技術提升數據質量。

除了基礎的公共數據,極海也在積極研發深度數據產品,比如自然街區。用交通路網把城市切分成城市地塊,用模型對地塊進行優化。然後把與之相關的數據和地塊進行關聯,形成對城市自然街區的數字畫像。比如第一張圖是北京自然街區的快餐店分布,第二章是武漢自然街區的幼兒園分布,第三張石常州自然界區之間的駕車距離。我們希望通過這樣的方式去描述我們生活的城市,讓不同行業對城市有定性和定量的了解。這樣的數據產品已經應用於零售店面選址。

模型

極海和中規院做過一次嘗試。把全國範圍的十字路口聚合到半徑1公里的六邊形格網,用道路密度來研究城市擴展情況。這是全國範圍看的統計結果,這些密密麻麻的點其實是小網格。把地圖放大到北京市。其實從結果上看,六邊形已經把市區邊界描繪的很清晰了。東城西城的道路網明顯比其他區域密集。其他紅框範圍是北京的其他區縣。目前這樣的空間分析在極海雲平台線上就能完成。

數據分析的終極目標是預測。所以除了經典空間分析模型,極海也在探索通過地理數據挖掘做預測。比如這是我們用戶自然街區的地塊數據,預測零售選址的會員分布。第一張圖是把真實的會員數據關聯到自然街區,用於模型訓練,建立預測模型。後面兩幅圖是在不同城市任意選擇一個候選點,來預測潛在會員分布。

可視化

極海有專門針對地理大數據的可視化服務。現在網頁前端的渲染能力已經非常強悍,能做出非常酷炫的效果,但是數據量達到一定量級就會面臨瓶頸。所以極海採取了一種雲端和前端相結合的方式,充分發揮雲端的計算優勢和前端的渲染能力。採用動態切片技術,在雲端對數據實時切片,前端負責渲染。針對不同的可視化效果,切片也有不同的形式,可以是圖片,也可是帶有時間信息的矢量切片數據。

當然,可視化效果的樣式風格也很重要。所以除了前面的可視化效果,針對帶有時間屬性的數據,還可以按照時態動畫的方式展現。比如這是對從北京開往世界各地的航班的動態模擬。


自主創新-需求為導向

最後和大家分享兩點感受。一是自主創新其實是產品得以發展的一種內生需求,只有自主創新才能以需求為導向,更好的服務用戶。極海近期服務於一家房地產行業的大型企業,出於數據安全的考慮,用戶選擇極海平台對數據進行可視化、對外分發數據。極海可視化服務是面向極海平台所有數據的,而不是像傳統方式那樣需要先發布服務再使用,這種靈活性帶來的好處是可以高度定製,所以用戶才能夠通過瀏覽器工具或者服務介面根據自己需要做數據可視化。

但是用戶的數據是存儲在已經建成的數據倉庫系統中的,需要可視化的數據是用戶查詢的臨時數據。極海的可視化引擎並不支持這種場景。極海很快就給出了解決方案,通過擴展可視化引擎,支持對高速緩存中的臨時數據進行可視化。這樣的解決方案讓雙方工程師花很小的代價就能完成系統對接。而這樣的設計能夠實現,則取決於極海擁有自主研發技術。

自主創新-需求的邊界

另外一點感受是需求的邊界。我們經常被問到的一個問題是極海和百度地圖比、和高德地圖比,有什麼優勢?這裡做了一個對比,不是為了比較孰優孰劣,而是為了說明彼此的側重點是不一樣的。百度地圖、高德地圖的需求根源是確定地理位置、以及由此衍生出來的服務。而極海平台是要解決與地理位置數據有關的問題。那既然以需求為導向,用戶說我就是要用百度地圖,因為百度地圖更新很快。那是不是就不能選擇極海了呢?我們正在探索如何把極海的服務集成到百度地圖、高德地圖中去使用,發揮各自優勢,給用戶提供更好的解決方案。

文/gispace

對我們感興趣?GeoHey最近在招募對大數據感興趣的專業人才,實習和正職都想兼得,詳情請戳GeoHey-招賢納士~


推薦閱讀:

大數據是什麼
AI技術講座精選:機器學習梯度下降演算法(包括其變式演算法)簡介
【巡洋艦首發】有趣的機器學習 第一章:最簡明入門指南
TensorFlow極簡教程:創建、保存和恢復機器學習模型
用戶數據使用合規實務指南

TAG:地理 | 可视化 | 大数据 |