人工智慧對傳統氣象行業的影響、未來的前景如何?

  • 提問的背景:
  1. 我是一名氣象學研究生,從事區域天氣模擬等研究。
  2. 2015年偶然關注到彩雲app,非氣象人員利用雷達回波資料做出了臨近降水預報,這對我一個即將步入社會的學生觸動很大。
  3. 2016年人工智慧成為全民話題,影響到各行各業,氣象本質上是數據科學。
  • 問題:
  1. 人工智慧對氣象行業會有哪些影響?
  2. 彩雲app在開發天氣預報時遇到了哪些困難?哪些困難任然沒有解決?
  3. 基於物理模型的天氣預報系統和基於數據挖掘的機器學習系統,哪一個會 在未來天氣預報中佔主導?
  • 補充:

在科技大變革的今天,傳統氣象行業很可能被新技術所顛覆,從上世紀70年代數值模擬技術成熟之後,氣象預報很難有質的飛躍。只不過是「跟在遙感技術和大型計算機技術後的小跟班」。如果說第一個被人工智慧突破的領域是對大量數據的重複分析和計算,那氣象再合適不過。同時,我也深感國內氣象專業教育的知識結構老化和瓶頸。在對提高實際預報準確率束手無策的時候,課題紛紛轉向氣候變化,將不確定的數據放入不確定的模型中,最後得到一個不能立即證實的結論。也許人工智慧技術會是新的契機


題主既然是從事天氣方面研究的學生,補充那段話不覺得說的有點過分了嗎?

下面的言論只是我個人的一些看法,不一定對,歡迎討論。

=========================正兒八經的分割線=======================

1.人工智慧對氣象行業會有哪些影響?

人工智慧的技術,目前階段最直接影響最大的成果就是你已經看到的雷達外推短臨預報。但是從理論角度看,人工智慧中一些知識和同化有異曲同工之妙,應該也可以為同化的發展提供一定的推動力。此外,用人工智慧的一些技術為模式調參提供便利也是已經在做的事情了。業務方面,衛星資料的處理,很早就開始利用相關技術,現在利用衛星開始做的一些產品,也開始利用這方面技術了,具體因為某些原因原諒我沒法多說了。還有以前一些曾經利用統計學習做過嘗試的領域,現在開始重新用機器學習深度學習開始做嘗試了。像雷達資料質量控制等領域,利用這方面技術我相信也已經有很多人在做嘗試。除了人工智慧之外,計算機圖形方面的一些知識,比如已經廣泛應用的光流法,對短臨預報也產生了一定的影響。人工智慧的技術在風、光的預報領域也有著廣泛的應用。

但是人工智慧的技術目前,我個人的理解是不能代替人來認知自然。大氣這個學科,不同於工程類的學科,不是以創造為主導而是以認識客觀自然為主導的,當人類對自然認識不夠的時候,預報的技術是很難取得特別好的效果的,比如ENSO這種現象,短期氣候預測這種技術問題,人類對機理的認知目前仍然不夠,預報的效果也很難像天氣預報那麼好。當人類認知自然達到一定程度的時候,數學物理方法一般是要比統計方法好一些的。所以現在你看到的主流是用數值模式做天氣預報,而不是統計方法做天氣預報,是用動力統計結合方法做短期氣候預測,數值模式與統計結合做氣候研究。目前人工智慧仍然無法取代數值模式做短臨以外的天氣預報與氣候預測,但是我相信,在一些目前人類認知有限的領域,比如天氣尺度和氣候尺度的過渡區域(無縫隙預報就是要做到「無縫隙」),這些縫隙,人工智慧由於能夠把握一些人類難以認識到的自然特徵,我相信可以成為一種強有力的工具。

題外話我個人覺得比較有意思的一種應用是人工智慧處理雷達觀測資料。比如對流系統的分類研究問題(比如像Parker等對美國出現的颮線的分類,孟智勇老師等對中國東部地區出現颮線的特徵研究等等),我個人覺得利用人工智慧技術會有比較有意思的結果。再開個腦洞,像識別雲啥的,以後用手機拍個照,甜美女聲自動播報這是:濃積雲~應該也是可以做到的吧~哈哈

2.彩雲app在開發天氣預報時遇到了哪些困難?哪些困難任然沒有解決?

直接自己動手@彩雲里的人問吧,CEO袁行遠CTO苑明理他們都有知乎的賬號。

3.基於物理模型的天氣預報系統和基於數據挖掘的機器學習系統,哪一個會在未來天氣預報中佔主導?

哪個都不會,物理和數學緊密結合才是王道。目前能夠看到的數學物理結合的實例,最容易想到的就是同化。比如大家熟悉的三維變分的理論基礎就是統計里的極大似然估計,但是僅僅有數學是不足以得到好的同化結果的,必須要考慮受到大氣物理和動力過程式控制制的一些特有的誤差結構,才能得到較為理想的結果。機器學習雖然目前在很多方面取得了很好的效果,但是完全不考慮物理只考慮統計,如果不造成一定程度的資源浪費就一定會造成結果不理想。目前我個人覺得,利用機器學習做短臨,模式做一周-兩周左右的預報,同時再利用機器學習對模式結果做一定的訂正,利用動力-統計結合做短期氣候預測,數值模式+機器學習做氣候研究,或許是短期內大家願意採用的方式。

=========================胡說八道的分割線============================

1.人工智慧和統計緊密結合在一起。人工智慧中一些比較早期的方法,在提出沒多久就被應用到大氣領域中,這是過去發生過的事實。直到九十年代,兩千年左右,還有一些利用神經網路進行預報的論文發表。像BP神經網路,SVD,SVM等等這些基礎知識,可以在很多氣象統計教材上面找到,比如北大黃嘉佑老師的氣象數據統計分析方法。文獻我從我的Papers庫里找了一些,原諒我懶得去調Papers的格式了,將就看看吧:

人工神經網路方法在夏季降水預報中的應用. (1998). 人工神經網路方法在夏季降水預報中的應用.

Stumpf, G. J., Marzban, C. (1998). A Neural Network for Damaging Wind Prediction.

Marzban, C., Stumpf, G. J., Marzban, C., Stumpf, G. J. (1996). A Neural Network for Tornado Prediction Based on Doppler Radar-Derived Attributes.

Witt, A., Marzban, C., Witt, A. (2001). A Bayesian Neural Network for Severe-Hail Size Prediction.

Wong, M. H. Y., Liu, J. N. K., Chan, P. W., Kwong, K. M., Wong, M. H. Y., Liu, J. N. K., Chan, P. W. (2012). An Artificial Neural Network with Chaotic Oscillator for Wind Shear Alerting. http://Dx.Doi.org, 29(10), 1518–1531. http://doi.org/10.1175/2011JTECHA1501.1

還有神經網路做雷達資料質量控制的:

Lakshmanan, V., Fritz, A., Smith, T., Hondl, K., Stumpf, G., Lakshmanan, V., et al. (2007). An Automated Technique to Quality Control Radar Reflectivity Data. http://Dx.Doi.org, 46(3), 288–305. http://doi.org/10.1175/JAM2460.1

所以,人工智慧並不是在彩雲出來前沒有對氣象產生過影響,它們是影響過氣象行業的。然而,業務上的很多結果已經證明,有些領域,曾經的這些統計學習方法並不能比傳統方法取得更好的結果,所以最後沒有被應用到業務上。其他答主也提到這個事實。

2.正如題主所提到的,彩雲以及其他一些企業做的短臨預報是用的雷達資料外推。然而答主作為一名天氣方面的研究生,應該理解利用單站雷達資料做外推是有其物理依據的。天氣學的知識可以告訴我們,大氣高層的引導風和中小尺度系統運動之間的關係,讓單站雷達外推,或者雷達外推,能夠成為有意義的預報技術(可以參閱天氣學原理一書)。這項技術的發生髮展是建立在對天氣現象,特別是對流系統的深刻認識之上的,更可以說是科學的發展之上的。

3.用模式做短臨預報,任重而道遠。對流模擬有三個難點:高解析度觀測資料的缺乏(Dabberdt et al., 2005);對流過程自身的混沌特性(Zhang et al., 2003; Hohenegger et al., 2006);數值模式目前的發展水平(Luo et al, 2014)。我不是做觀測的,所以對資料缺乏方面不說什麼,只是聽同學說起,雷達觀測資料的質量以及很多方面還有很大的提高。對流的混沌特性,是造成預報困難的一個主要原因,洛倫茲方程就是大氣熱對流方程的一種變形。從這個簡化的方程里就可以明白天氣預報的難度。數值模式我相對熟悉一些。美國在上個世紀就開始研發雲解析解析度的數值模式,日本也有像NICAM這樣的雲解析解析度數值模式,但是真正落實到業務上的全球模式,解析度依然沒有那麼高。當解析度在10km以上時,積雲方案是模式降水預報的一大誤差來源,在10km-4km的gray zone,積雲方案是否需要使用仍然存在爭議,4km以下解析度時,則需要關閉積雲方案。即使關閉了積雲方案,也並不意味著降水預報就很簡單了,微物理方案裡面的問題也很多。隨便舉幾個簡單的例子,微物理方案里關於冰相粒子的處理方法的差異,就足以讓模擬結果產生很大的差異。有的方案把冰粒子分為冰雪霰,有的分為冰雪霰雹,有的霰和雹可以共存,有的霰或者雹只能存在其一,甚至有的方案冰粒子類型的劃分多達10種(Straka方案)。除此之外,當全球模式嵌套區域模式,區域模式的邊界條件會對對流模擬產生很大影響。Synoptic forcing弱了,對流就不一定能模擬出來。此外,在區域模式里,一般對水汽需要做一些特殊處理,所以,對流模擬不是馬上就能出來的,需要過一段時間才能在模式中看到。即使利用了同化技術,三維變分四維變分卡爾曼濾波balabala一大堆的演算法裡面的問題也不少,三維變分沒有雲分析模塊同化雷達會有問題,四維變分不好好調試,同時有個強大的機器,真心不好弄,卡爾曼濾波才應用到業務上不久。雷達質量控制,同化一直是天氣預報技術里比較受重視的方面。那麼流體里最喜歡用的LES和DNS呢?算算計算量OK?而且即使是LES,模擬對流也不是那麼輕輕鬆鬆的,WRF里的LES問題還不少呢,這幾年有不少paper。LES和DNS這個真心不現實。所以,這一大堆砸死人的問題隨便一個就能窮盡一個人的一生。而現在,外推技術,沒有那麼多蛋疼的制約,計算需求也不算高,直接就成為一個短臨預報可以直接利用的技術。神經網路,本身就具有擬合非線性的系統的能力,加上計算機圖形學方面的發展(光流法之類的),結合外推技術無疑是效率最高的一種方式。

4.不光天氣預報,現在世界上大部分科研都不會像牛頓愛因斯坦那時候,「砰」一下冒出一個驚世駭俗改變後面XXX年的研究結果了。典型的BP神經網路最早提出似乎也是在上個世紀七十年代,當中經歷過一定的沉默期,後來計算資源上去以後又迎來了新一春。像SGD,Adams等等這些方法,不也是求解無約束最優化問題的梯度下降法慢慢演變過來的嘛,牛頓法現在也還有不少可以用的地方呢。再比如貝葉斯那一套,SVM那一套,決策樹那一套,好像也不是一下子憑空來的吧。神經網路的反向傳播和鏈式法則結合的也是緊密對吧。天氣預報不是沒有質的飛越,而是「只在此山中」,題主沒有自覺罷了。題主要是有空仔細看看國家氣象台,日本氣象廳,美國歐洲上面關於模式的那些,就應該能感受到天氣預報日新月異的變化。

此外數值模式說成熟,這一點真的是無法苟同。MPAS是美國目前比較推崇的數值模式,要做到的最直接的目標就是,消除目前全球模式的解析度太低而區域模式有邊界條件的限制,天氣模式和氣候模式物理和動力模擬上的差別,讓一個模式能夠做到這些。所以MPAS就成了利用veronoi可變網格的數值模式,既可以做天氣研究也可以做氣候研究。然而這數值模式當中問題還不少呢,上次我關注的時候貌似颱風的模擬就有一個大問題。題主有空可以看看官網。此外,歐洲中心下一代模式的發展目標之一就是把一些計算流體力學等相關學科里這些年發展出來的新方法引入大氣模式中。瞧,數值模式也不是閉門造車和止步不前吧,離成熟也差得遠呢。

5.遙感,超算對大氣當然有很深遠的影響。但是很遺憾,大氣有大氣獨樹一幟的地方,真的沒有必要妄自菲薄。即使像開發太湖之光,做出戈登貝爾獎這些計算機大大們,他們真的不懂大氣模式裡面這些公式在幹什麼,特別是物理方案。搞遙感的人也真的很少有學過大氣動力學懂大氣物理過程的。有次和美國一個華裔老師聊天,他說他當年有次用衛星遙感資料,發現遙感資料和數值模式結果好接近啊,當時百思不得其解,後來別人告訴他那遙感資料做的時候融合了模式結果。。。所以按照題主的意思我是可以理解為遙感是大氣的小跟班么?遙感,超算,對大氣里的人而言只是認識大氣複雜規律的一種工具。題外話,大氣做深了不是一般的難,題主也許了解過庫朗所,裡面做大氣的可都是學數學的,比如大牛Andrew J.Majda。所以與其說大氣是遙感超算的小跟班,不如說是數學物理的小跟班。不過,咦?有幾個學科不是呢(^_^)?

6.本科的教材確實裡面的內容不新,不過那只是給大家打個基礎,自己的技能樹還是要自己來更新的。而且不同專業學的內容可以差別很大。大氣探測方向我本科讀書時似乎好像還要學數電和模電,大氣環境方向好像要學不少化學,應氣方向還會學遙感和地理信息系統。不過現在的社會趨勢是專人做專事,不同專業在一起協同工作,所以也不是非要安排一些跨專業的課,開放給學生自己選學就好了嘛。如果不是做數值模式,同化等等這些要和寫代碼打交道的,做做診斷和理論分析,都不需要有特別好的coding能力。即使是需要做模式或者同化的,目前,在cpu上普通計算,fortran和C,C++的效率差別也不是特別大,但是工具鏈如果從頭用C,C++寫一遍也不是一個很划得來的事情。加上數值模式與同化重在理解演算法,不在coding,確實不用加入太多計算機的知識在培養方案里。此外不知道題主有沒有看過數據結構和演算法,對普通大氣科學的學生,圖的演算法可能一直都會用不到,散列表,紅黑樹,貪心演算法啥的也一般是用不到的,連基礎的排序也真的用不了。相比之下,了解下計算機組成原理的基本,關注下變數類型,注意寫代碼時候別造成溢出,或者出現大項小差,或者截斷誤差造成影響啥的,比折騰面向對象有用不少,畢竟數值模式和同化系統里的代碼,不是非得搞成面向對象不可。氣象局業務用的系統,計算機方面也是交給計算機專業人士來搞的,最近,和阿里雲合作以後也是交給搞計算機的人搞的。之前傳聞國外哪個機構的數值模式,為了利用GPU,專門請人把整個模式寫成C++,而不是請大氣的人自己寫。NCAR的模式現在不少工作都外包了。專人專事,高度專業化,是社會現在的趨勢。大氣方面,比起這些,我個人的感受是多學學數學物理幫助更大。比如,大氣動力深入以後就會利用到泛函,變分,動力系統等的知識,學過泛函,變分,動力系統等的話理解起來就很容易,模式的動力框架裡面的演算法和計算方法緊密結合,像Runge-Kutta,Adams-Bashforth,迎風格式之類的方法一直在用,雙曲方程守恆律等等在模式里也有體現,保辛格式好像在氣象上也是有應用的。像物理方案,對基本物理與動力過程的認識清楚的話理解起來也更方便。如果對最優化問題有一定認識,熟悉統計推斷,學習機器學習深度學習也會事半功倍。

7.拉普拉斯妖是不可能的。牛頓運動定律不是萬能。物理已經從確定論轉向了不確定論。熱力學的發展告訴我們物理過程不是可逆的,經典力學的確定論的那一套東東在量子力學出現後已經受到了質疑。雖然我也不太喜歡氣候這種不能確定的東西,但是不能否認的是現在就沒啥你能確定的。光是衛星觀測每個國家衛星不一樣就能有很大差別,特別是南極,題主可以關注下南極雪蓋那幾顆衛星的觀測,可以毀你三觀。數值計算的時候,由於機器內部的浮動,用節點1的結果和節點2的結果也是不一樣的。要知道,任何一個模型,在某種意義上都可以看做一個動力系統(即使是題主關心的人工智慧的模型),初始條件不同,邊界條件不同,得到的結果不同,甚至是一個小小的誤差,在這個範圍內,是這個結果,那個範圍內就是另一個了。想想在用各種深度學習框架的時候,裡面不也是很多隨機初始化的演算法嘛,梯度下降的起點也不是一成不變的嘛,這次算和下次算就不一定一樣了哦。還有神經網路,這裡面到底發生了什麼,現在也沒啥特別好的辦法解釋哦。So,世界就是隨機的,不清楚的,人工智慧也不見得比天氣氣候清楚到哪裡去,別太糾結了,不然小心步上當年那些經典物理學家的後塵(笑)~


從氣象服務和模式及觀測數據解釋應用來看,廣義的機器學習早就被廣泛地應用了,比如同化會用到集合卡爾曼濾波,模式應用會用到mos方法和各種訂正手段,模型參數擬合,衛星次級產品常常會用到svm、隨機森林等等,從更大的範圍來看深度學習的cnn應用在衛星數據上、rnn做時間序列處理也有不少文章,只是氣象界特別是國內氣象界還較少探索而已。

總體上來看機器學習是氣象服務不可或缺的手段,跟氣象模式也不是非此即彼的。現在包括雲技術和大數據技術的成熟、新一代業務模式的開發、新一代氣象衛星上天,機器學習會越來越成為氣象行業從業者需要掌握或者說至少要了解的技能。

當然對於氣象研究者來說主力還是應該用在改進模式吧。

2017.4.25更新:

中國氣象局相關舉措

http://www.cma.gov.cn/2011xwzx/2011xqxxw/2011xqxyw/201704/t20170426_408406.html


今年 AGU 推了一篇文章 A Machine Learning Nowcasting Method based on Real-time Reanalysis Data 是中國海洋大學韓雷老師的文章。文章主要是使用支持向量機(SVM)對雷達數據進行機器學習並且進行預報,得到的是SBOW預測模型。

具體方案是將預測區域劃分為多個預測區域網格,利用 VDRAS 的雷達數據結合物理量,把問題歸結於預報預測網格內反射率是否會 &>35 dBZ。

這個方法同樣與彩雲天氣的預測思路相似。同樣是利用雷達回波數據機器學習預報短臨強降水。而要做到對雷達回波的利用,首先需要解決的是中心軌跡的識別(Centroid tracking)。而在做這方面的是美國的SCIT和TITAN。

與機器學習不同的思路是專家系統(Expert Systems)。這個有ANC和NIMROD,都關注在短臨預報(NWP)。

具體的演算法細節不在此討論,重點我們說一下結果

文章使用的物理量是垂直風速 w、擾動溫度 pt,並且考慮他們的變化率 dw, dpt。總體使用的是4個物理量。

那麼這麼做,最終的預報情況怎樣呢?

實際上採取新的方法,與TITAN相比並沒有提升太多。如果試用過TITAN的話就會知道,實際上 TITAN 還無法直接用於業務預報(就實習經驗而言)。

造成這種情況的原因文中總結為

    1. 對流開始的數據太少:由於對流開始過程在積雲對流過程中時間佔比太少、範圍又太小,這樣的數據實際上很難得到;
    2. VDRAS本身對小對流單體的反射率信息獲取不足;
    3. 誤報現象仍然明顯;
    4. 物理量的選取過程中發現,物理量的選取並不是越多越好,增加物理量反而無法獲得更好的預測效果,同時由於很多物理量在物理含義上有重疊,因此還有待發現新的能表達更多含義的用於描述的物理量;
    5. 數據同化技術還有待發展。

所以說,僅僅是使用機器學習的短臨預報,就有這麼多不確定因素等待解決,而且預報準確率依然很低。現在結合人工訂正的三小時預報基本上能夠達到90%及以上的準確率。除非有辦法能解決以上多種問題,想必依賴計算機的預報會在一定程度上取代氣象局人工服務。

更可惜的是,對短臨預報,因為方法簡單(幾乎是簡單的外推),機器學習確有其用武之地,但一旦從短臨預報延長到3日、7日、中長期以至長期預報,情況就完全不一樣了。

別的答主提到了機器學習在預報中的重要作用,這些途徑確實值得借鑒,然而這些方法都是為了提高數值預報的預報能力。實際上在氣象上 機器學習以至於各種先進的統計方法,不是「沒有人研究如何使用」,而是「使用效果被證明並不好」。

機器學習的數學基礎是統計,在物理過程已經基本明了的情況下,統計方法在理論上就不佔優勢。

這裡以 ENSO 的預報為例,現在主流的方法是數值、統計方法相結合——動力方法的物理過程還沒完全被解釋清楚的過去(當然現在也還不知道),為了預報厄爾尼諾,曾經使用過各種,包括SVM、主成分分析等等等等的方法,然而最終的結果不需我贅述了。

說到這裡我想題主應該明白,現在面臨的問題,不是「人工智慧將會取代傳統行業」,而是 「在已經有很好的方法的情況下,你如何證明 你的人工智慧方法 比傳統方法更有效」。機器學習說到底是用來讓投資者投錢的「概念」,而公眾、商業、政府只看你的最終結果。

%=以下是不友善時間=%

氣象預報很難有質的飛躍。只不過是「跟在遙感技術和大型計算機技術後的小跟班」。如果說第一個被人工智慧突破的領域是對大量數據的重複分析和計算,那氣象再合適不過。

這個「很難」不知題主是如何看出來的。而且這個「小跟班」定論下的有點快吧?而且你說「遙感技術和大型計算機技術」,雖然不太懂你的研究方向,但至少加個數學/統計學吧hhh,而且還請麻煩題主舉一個地學領域不依賴「遙感、數學、計算機技術」其中之一的學科。

我也深感國內氣象專業教育的知識結構老化和瓶頸。

主要是不懂題主的背景,但是我也不清楚題主說的「知識結構老化」是指哪些方面。論經驗總結有天氣學原理;論動力有動力氣象;論數值預報有數值預報,我不太清楚還應該加上什麼知識?面向對象編程?數據結構與演算法?

在對提高實際預報準確率束手無策的時候,課題紛紛轉向氣候變化,將不確定的數據放入不確定的模型中,最後得到一個不能立即證實的結論。

麻煩題主解釋「不確定的數據」和「不確定的模型」。我反而覺得相比於機器學習的完全黑箱,反而物理過程模型這個白箱更有確定性。

以上です。


畢業之後寫過三年流體力學的數值求解,也做過一年短臨和空氣質量預報,目前從事機器學習和深度學習相關工作。談談個人在氣象圈子感受到的情況,僅限個人經歷:傳統氣象行業在嘗試改變,但引入的人工智慧多屬於多變數的預測和回歸,深度學習嘗試不多。倒是有更多的圈外人,用不同的技術引入到傳統氣象,改變多來自於圈外到圈內的倒逼,內部的革新並不顯著或明顯。

個人信奉的觀點:在歷史上,統計方法和物理方法相互消長,在初期以及遙遠的未來,物理方案的演算能力完全勝任以及控制方程完成成熟的時候,物理方案無疑是最佳方案。然而現在的情形是LES大渦方案仍然相當吃力,大尺度DNS的數值模擬更是遙遙無期,具備同樣非線性擬合能力的機器學習以及深度學習,無疑是相當門檻低而且見效快的方案。

下面說說短臨,是個很明顯用人工智慧可以改善的課題。其主要的困難來自於去燥和推算。

對於去燥:

當時查閱很多資料,更多的論文是基於規則來的,論文中插圖多來自於標準情況,真實踐起來,界限尷尬的情況下,往往並不能得到論文中理想的效果。而嘗試綜合氣象變數及深度學習技術,則大幅度提高了去燥的效果。具體效果圖不展示,fcn的具體論文鏈接如下:[1411.4038] Fully Convolutional Networks for Semantic Segmentation。在嘗試fcn後,持續加入氣象變數,引入crf等條件隨機場等 技術後,基本完全高於傳統氣象方法。http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf得到像素級別的分類,雷達同理。此時加上大量圖像增強技術,效果會比傳統氣象方法提高非常多。

對於外推:

這個比較典型的圖像跟蹤問題,採用深度學習的conv+RNN的方案再此也可以大幅度提高預測準確性。https://arxiv.org/pdf/1506.04214.pdf。當然仍然有大量圖像追蹤的方案可供參考。

哪種路線好快,終歸以效果來論,而在這個環境下的人,則更需要兼容並包,不是固步自封。


很在很多高大上的名詞都把人忽悠住了

大數據:其實就是把能搜集到的數據都搜集過來分析而已

人工智慧:以前的人工智慧發展是自上而下,也就是研究理論規則,再建立推理模型從而實現具體事務的智能化處理,以前氣象部門的很多調研文章都提到的專家系統就是這類。由於智能本身的複雜性,加之自然語言處理技術的發展,以及仿生學的發展,出現了自下而上的人工神經網路演算法,但是由於當時人工神經網路演算法本身研究的深度不夠,出現了感知機不能解決異或的問題,導致業界普遍對該神經網路演算法不重視。當時有人堅持研究人工神經網路演算法,也取得了一些成果,當時由於人工神經網路這個名詞發論文不太好發,所以改名為機器學習甚至是深度學習,其實本質還是以前那些。現在說的人工智慧,還是糅合了專家系統和機器學習的一個總體概念。

而且氣象上已經從理論上研究了很多中小尺度天氣系統(彩雲天氣主要就是用於中小尺度天氣系統的預報)的發生髮展,基於天氣雷達判斷天氣已經有一套成熟的理論,現在的短臨預報技能競賽有一個項目,就是給你歷史個例的天氣高低層實況數據,以及雷達數據,讓你判斷某地是否有冰雹、雷暴大風、短時強降水並給出預報理由,判斷結果與實際結果一比較來給你成績。這個難度比彩雲天氣的技術含量難多了。同樣強度的回撥,在梅雨季節和冬季帶來的降水是不一樣的,而且雷達氣象學上估計降水已經有成熟的Z-R關係(又叫Z-I關係,是指 在瑞利散射條件下,反射率因子Z(mm6/m3)為單位體積降水粒子直徑6次方的總和。因此Z的大小反映了氣象目標內部降水粒子的尺度和數密度。 從統計出發,總結出實用的Z和降水率R之間的近似關係 ) ,根據Z-R關係本身就可以判斷出降水的多少。至於雷達回撥未來發展和演變,這與下墊面地形、天氣引導氣流、傳播方向有關,比如回撥到山丘附近由於迎風坡效應,會在山丘附近產生降水,同樣回撥在不同地形降水也不一樣。我看過彩雲天氣的年會,上面說過其採用的NN演算法和以前氣象上用的多的光流法預估未來回撥移動其實是差不多的,個人認為彩雲天氣的預報還正真不如一個真正的氣象預報首席。說到底大家也是追熱點,人工智慧火了,各個行業帶上這個名詞,就高大上了,甚至還一些本行業的人不明就裡地追捧,難道現在的人工智慧難道真的能代替人類工作?未來肯定是的,但是目前還是專業性的人工智慧,還未發明出通用性的人工智慧;而且在氣象領域人工智慧演算法也很早就有利用,歷年來也有多篇涉及這些演算法的氣象學論文,但是由於對預報準確率的提高不夠明顯,實際業務中也用的很少。說到底彩雲天氣在氣象專家眼裡並不是什麼稀奇的事務,就算氣象入門者在深入了解到其根本的演算法後也不會有太大的感慨。

有點類似,婆媳住一起矛盾多,分開住反而相處融洽;不深入了解,什麼東西都是最好的。越深入,越了解,什麼都是最不好的。

附表:20mm/h降雨的雷達回波強度與持續時間, Z=A*I^b

===================================

從上世紀70年代數值模擬技術成熟之後,氣象預報很難有質的飛躍。

我想到之前知乎上有人問,為什麼自愛因斯坦發現相對論後,現代物理學沒有什麼突破性發展呢?有人回答,因為新發展成果超綱了。

是不是這麼說,自 1946年2月14日, ENIAC計算機發明出來以後,計算機技術一直很難又質的飛躍呢?

雖然數值模式預報的理論基本成型,但是對其發展仍在不斷繼續,特別是在資料同化等多個方向上技術不斷進步,時間和空間解析度不斷精細,預報準確率不斷提升。

目前數值天氣預報技術發展趨勢上主要表現為以下幾個方面:

⑴ 動力模式框架 : 向「完整性」、「整體性」、「精確性」發展。

⑵ 三維或四維變分資料同化技術 : 變分方法已經成為當今資料同化的主流技術

⑶ 多尺度統一模式 : 中尺度、短期和中期天氣預報、月-季-年氣候預測,統一動力模式框架

⑷ 模式網路設計 : 格點模式一直是有限區域模式的主流模式。

⑸ 模式解析度與物理過程 :

隨著高性能計算機能力(峰值速度、內存容量、網路通信速度等)的迅速提高,使得數值預報模式的解析度越來越高,物理過程越來越複雜、越來越完善。其基本思路是提高解析度,盡量增加模式對大氣動力過程、物理過程「顯式」描述部分,減少模式的物理過程的參數化部分。

⑹ 非靜力平衡假設

在新一代的動力模式框架設計中,所有水平解析度高於10公里的中尺度模式都考慮採用「全可壓的」(Full-compressible)非靜力平衡假設,尤其認為當模式水平格距小於5公里,非靜力平衡動力過程將是顯著的、不可忽略的。

⑺ 臨近天氣預報(Nowcasting) :

利用中尺度觀測網、雷達、中尺度模式等的信息,製作12小時以內的臨近預報。

⑻ 集合數值預報 :

由於初值存在誤差和數值模式存在差異,當我們以此初值與模式「預報」一個非線性大氣系統未來的變化時,其預報結果存在不確定性。集合預報是解決這個問題的途徑之一。集合預報的目的,一是指出確定性預報的可信度有多大,二是提供除確定性預報的預報思路以外的其它可能預報思路。

以上部分內容來源於武漢中心氣象台 柱講課PPT


我感覺我的本科所接觸的天氣過程主要涉及各個物理過程+數學統計的學習。人工智慧是基於強大的數據的基礎,短時預報準確率還行,短期尺度我覺得物理過程是無法忽略的,而這一點恰恰是靠單純的人工智慧難以解決的。

諸君,未來加油吧,別被搶了飯碗。


不要低估現在的科研工作者,前沿的新方法,氣象絕壁會較早的使用的。行業有老套的地方,前沿註定是一群熱愛此項事業,還殫精竭慮去摸索的人在推進。而人工智慧最近的爆發也是前些年的積累,很多東西都不是現在發現的,只是應用場景變化了,顯得高深莫測。國內解讀的過於玄乎,感覺XX意圖大於實際作用。


數值模擬做了這麼多年,如今博士都畢業了。總感覺流體物理學模型求解最大的問題,並不在於建模或者原理部分,而是在於計算能力,這點上人工智慧比人強多少?


估計數值預報又能有進一步的提升吧,不過目前deepmind alphago所採用的蒙特卡羅演算法在數值預報上的應用還存在較大的問題,感覺還早吧,不過趨勢確實有,數值預報未來除了不斷增加了歷史資料庫之外,加入更深入的判斷和歷史對比能力勢在必行。


推薦閱讀:

如何申請科研用超算資源?
有限元法中,如果知道四邊形單元四個節點的應力,如何求單元內任意一位置的應力?
用數值模擬行星運動,很難得到穩定解?
看文獻,湍流無因次距離y+,u+之類的數據圖,這些數據是怎麼計算得來的?

TAG:人工智慧 | 氣象 | 數值模擬 |