大數據、數據挖掘在交通領域有哪些應用?
還想問下我學習數據挖掘和人工智慧這兩門課會不會和我專業太偏了?
本題已加入圓桌 ? 數據挖掘應用,更多「數據挖掘」相關的話題歡迎關注討論
-
謝邀。我認為非常有聯繫。對交通行業缺乏深入了解,如有興趣建議看看:
- 大數據理論如何指導交通數據分析?
- 大數據最核心的價值是什麼?
- 物流和運輸公司。這個很好理解,詳細討論需要另開一個問題大數據對物流管理有什麼影響?。
- 公交一卡通。交通局通過數據實時分析一方面可以控制公交車和地鐵的發車班次和時間,減少空車率,疏導客流緩解城市道路壓力;另一方面也可以進行線路優化。
- GPS定位。《道路運輸車輛動態監督管理辦法》將於今年實施,其中最大亮點就是將所有運輸車輛都與GPS衛星連接,國家可以實時監控車輛運行路線。
- 車聯網(Internet of Vehicles)。例如百度剛推出的CarNet、蘋果的CarPlay、微軟的Windows in the Car等。目前廠商們所推崇的車聯網和可穿戴設備一樣,都是將物聯網與手機APP相結合。
- 路網監控。目前國家在道路監控上的投入很大,「十二五」高速視頻監控點建設 實現京津地區全覆蓋,被直播的中國:監控攝像頭數量每年增加20%。
- 電子地圖導航應用。將用戶出行數據進行分析,從而可以預測不同城市之間的人口遷移情況,或者某個城市內群體出行的態勢。例如春運期間的交通調整。
二、交通領域的大數據應用
- 《車來了》通過分析公交車上GPS定位系統每天的位置和時間數據,結合時刻表預測出每一輛公交車的到站時間。
- WNYC開發的Transit Time NYC通過開源行程平台(Github:OpenTripPlanner和MTA )獲取的數據將紐約市劃分成2930個六邊形,模擬出從每一個六邊形中點到邊緣的時間(地鐵和步行,時間是上午九點),最終建模出4290985條虛擬線路。用戶只需點擊地圖或者輸入地址就能知道地鐵到達每個位置的時間。
- 實時交通數據採集商INRIX-Traffic的口號是(永不遲到!^^),通過記錄每位用戶在行駛過程中的實時數據例如行駛車速,所在位置等信息並進行數據匯總分析,而後計算出最佳線路,讓用戶能夠避開擁堵。
三、結束語
這個話題需要領域內的人士來詳細解答,本文屬於拋磚引玉。如有興趣建議讀一下SAP的分析報告:
《Drivers Avoid Traffic Jams with Big Data and Analytics》
祝每一個DMer都挖掘到金礦和快樂:)-交通領域大數據分析和應用的場景會相當多,這裡面要注意兩點,一個是大數據本身的技術處理平台,一個是數據分析和挖掘演算法。具體場景當時寫過點內容,如下:
對於公交線路規劃和設計是一個大數據潛在的應用場景,傳統的公交線路規劃往往需要在前期投入大量的人力進行OD調查和數據收集。特別是在公交卡普及後可以看到,對於OD流量數據完全可以從公交一卡通中採集到相關的交通流量和流向數據,包括同一張卡每天的行走路線和換乘次數等詳細信息。對於一個上千萬人口的大城市而言,每天的流量數據都會相當大,單一分析一天的數據可能沒有相關的價值,而分析一個周期的數據趨勢變化則會相當有價值。結合交通流量流向數據趨勢變化,可以很好的幫助公交部門進行公交運營線路的調整,換乘站的設計等很多內容。這個方法可能很早就有人想到,但是在公交卡沒有普及或海量數據處理和計算能力沒有跟上的時候確實很難實際落地操作,而現在則是完全可以落地操作的時候了。
從單一的公交流量流向數據動態分析僅僅是一個方面,大數據往往更加強調相關性分析。比如對於在某一個時間段內公交流量和流向數據發生明細的趨勢變化的時候,這個趨勢變化的究竟和哪些潛在的大事件或其它影響因素的變化存在相關性,如何去分析這些相關性並做出正確的應對。舉個簡單的例子來說,當市中心區內的房屋租金持續增長的時候一定會影響到交通流的變化,很多人可能會搬離到更遠的地方去居住,自然會形成更多的新增公交流量和流向信息。在《大數據時代》裡面談到更多的會關心相關性而不是因果只是一個方面的內容,實際上往往探索因果仍然很重要,就拿尿片和啤酒的例子來說看起來很簡單,但是究竟是誰發現了這種相關性才更加重要,發現相關性的過程往往是從果尋因的過程,否則你也很難真正就確定是具備相關性。
其次就智能交通來說,現在的智慧交通應用往往已經能夠很方面的進行整個大城市環境下的交通狀況監控並發布相應的道路狀況信息。在GPS導航中往往也可以實時的看到相應的擁堵路況等信息,而方便駕駛者選擇新的路線。但是這仍然是一種事後分析和處理的機制,一個好的智能導航和交通流誘導系統一定是基於大量的實時數據分析為每個車輛給出最好的導航路線,而不是在事後進行處理。對於智能交通中的交通流分配和誘導等模型很複雜,而且面對大量的實時數據採集,根據模型進行實時分分析和計算,給出有價值的結果,這個在原有的信息技術下確實很難解決。隨著物聯網和車聯網,分散式計算,基於大數據的實時流處理等各種技術的不斷城市,智能的交通導航和趨勢分析預測將逐步成為可能。
還有一個在國外大片中經常能夠看到的就是實時的車輛追蹤,隨著智慧城市的建設,城市裡面到處都是攝像頭採集數據,當鎖定一個車輛後如何根據車輛的特徵或車牌號等信息,實時的追蹤到車輛的行走路線和位置。這裡面往往需要實時的視頻數據採集,採集數據的實時分析和比對,給出相應的參考信息和數據。這個個人認為是具有相當大的難度,要知道對於視頻流和圖像信息的比對和分析往往更加耗費計算資源,需要更長的計算周期,要從城市成千上萬個攝像頭裡面採集數據並進行實時分析完全滿足大數據常說的海量數據,異構數據,速度和價值等四個維度的特徵。基於車輛能夠做到,基於人當然同樣也可以做到,希望這類應用能夠逐步的出現,至少現在從硬體水平能力和技術基礎上已經具備這種大數據應用的能力。我們公司專註於依託運營商個人手機信令的位置和軌跡數據,分析城市居民每天的出行軌跡和駐留點。分析居民工作地與居住地得出OD通勤,還可以計算出每天的出行路徑,出行高峰時間段。為交通行業出具相應的調查報告,分析城際交通運行效率評估,重大交通基礎設施吞吐量評估,公交站點、地鐵站點選址及路線規劃,便民出行分析等等。大家如果有興趣我再詳細介紹
大數據的應用對於交通管理部門是一種非常好的工具,也會提升管理部門的效率和能力,但大數據方法僅此而已。一卡通信息,打車信息,物聯網感測器信息,GPS信息灬都可成為交通大數據,都可被分析,被應用。但僅指望通過大數據直接解決交通擁堵,目前是不行滴。交通擁堵的核心是通行能力與通行需求不匹配,可能是常態化的道路資源不夠,也可能是瞬時車流高峰導致的不協調,大數據的交通信息公開會帶來交通流量的透明化,而大家同樣的選擇會導致下一個交通擁堵的出現,景點的熱力圖也只代表現在,如果大家都得到同樣的信息,結果冷點就會很快變成熱點。當然,飯店可能是個例外,如果你發布的某個飯店排隊人數多,很可能導致的是這個飯店的排隊人數更多。refer:大數據不是萬能的。
建議樓主看一下微軟亞洲研究院鄭宇博士的論文,在urban computing的框架下,做計程車軌跡數據挖掘,城市人流預測等問題,做的深度和廣度都令人嘆服。 有空把大神的文章貼上來~
非常重要。
我搬的磚就是處理城市交通中的數據。
現在我們有越來越多的設施能收集各種交通數據,上面也提到了,神馬GPS,智能卡,車載監控設備等等。
然後那這些數據進行處理,分析並得出結論。然後指導交通規劃方方面面。
其中分析得過程不是簡單的excel就能分析,裡面涉及到數據挖掘,人工智慧方面,這可以得出更多更好地結論,而且將是未來的一種趨勢。
所以,很重要,噠~
就是這樣,耶~
學習數據挖掘和人工智慧這兩門課不會偏,現在很多車輛大數據應用都用上了人工智慧,據我所知,蘇州千視通的車輛大數據就用了深度學習演算法,你可以去了解下,http://www.1000video.cn/jl/cpzx/cheliangzhencha.html
扔個鏈接就跑:http://mac.heinz.cmu.edu
CMU的mobility data analytics center. 很多交通數據的應用。老規矩,先說觀點:
越了解群體的駕駛習慣和交通模式,我們就越能改善基礎設施和技術,以減少交通事故發生。
交通工具是剛需品。如何避免交通事故?——收集、分析和應用數據可以幫助我們糾正一些主要的交通問題,避免悲劇後果。
通過掌握駕駛習慣和交通模式,改善目前的基礎設施和技術,數據正在實現以下幾種方式:
1. 製作事故地圖,鎖定事故多發區
各類組織結構基於公開的公共交通及事故統計信息,製作出智能的事故地圖,從而發現一座城市的「事故多發區」。
例如,以下這張地圖標記了了德克薩斯州發生致命交通事故的地點,並根據事故原因進行分類。研究這類地圖有助於城市規劃者了解哪些特徵對道路安全至關重要,哪些地區需要改進,並可能有助於指導當地執法部門更好地為社區服務。
該地圖清晰展現不同交通事故性質進行分類並在地圖上標註。
2. 實現座位共享和GPS的應用程序分析
Uber、Lyft 這類共享服務在生活中很常見,GPS和谷歌地圖之類的應用也是如此。公司利用這些數據幫助他們更好地為客戶服務,將司機分配到新地點,調整價格和提供改進的服務。然而,這些數據也可以用於為城市中的司機繪製「均衡」目的地、速度以及交通等信息。這些信息可以被用來「理解」城市內的交通模式,並改善交通堵塞。
3. 優化公共交通
大約74%的美國人支持公共交通的支出,但是只有5%的美國人真正使用了公共交通工具。這是為什麼呢?大多數人意識到公共交通系統的好處,但是諸如體驗感、實用性和效率等因素阻礙了他們對它的實際使用。
反之,低使用率使政府不再在公共交通中投入更多的資金。這是一個惡性循環,但這可能是可以解決的。但這要憑藉對「如何使用公共交通工具」的數據收集上。更好的路線、更有效的交通工具和更加便捷的出行正是一個開端。
4. 半自動和自動化的交通工具
像Waymo和Uber這樣的科技公司,以及特斯拉和福特等汽車製造商,都競相在市場上推出第一輛無人駕駛汽車。這些無人駕駛汽車需要依賴於大量的內部數據,包括地圖以及正確的駕駛程序的演算法。但是一旦它們被公開發布,每年將會創造出更多的數據,甚至達到2千兆位元組。
這些數據會幫助工程師們創建更安全的自動駕駛汽車設計,並創造一個可響應的網路系統,在這個網路系統中,單個車輛可以「相互交談」,交換有關其環境的信息。這對於防止在危險環境中發生的事故尤為重要,比如暴雨或下雪。
5. 重新評估變數:車道越窄越安全?
我們對引起事故的原因做出了很多假設,但是這些假設不總是正確的。對大數據的仔細檢查能夠挑戰我們的假設,並準確地計算出特定的交通特點是如何安全或是不安全的。例如,世界資源研究所最近的一項研究表明,車道寬度和安全性之間有一個「最有效點」。
傳統觀點認為,更寬闊的車道會自動變得更安全,因為車輛擁有更大的空間,但反之才是正確的;一般來說,更狹窄的車道會導致更少的碰撞。
我們越依賴數據,我們的街道就會越安全。為了讓事情變得更好,這會是一個遞歸和迭代的過程;在多個渠道中,研究人員正在研究使旅行更安全的方法,每一步都讓我們離夢想更近了一步。
即使預防十分之一的車禍發生,每年也能挽救超過13萬人的生命,而且這只是個開始。
(本文由鏑次元數據傳媒實驗室獨家編譯)
作者:Larry Alton(專業博主及寫作者,專註於新聞、科技和深度報道)
翻譯:雷曼雪
校編:蔡家欣 曾明
大數據在交通領域的應用,這篇文章可以看一下。:交通行業大數據案例分享:大數據運用在機場容量管-檸檬學院社區
我就說個已經普及了的應用吧,各導航軟體實時路況,就是大數據的應用
交通大數據的核心是車輛大數據信息的採集、分析和挖掘,這裡面很多技術都需要應用到深度學習的理論和技術,現在這一塊很多公司都開始做,我了解做的比較好的是北京明景科技,可以看看它們官網的產品介紹 http://www.botechnic.com/45.html
在交通領域,大數據一直被視作緩解交通壓力的技術利器。應用大數據有助於了解城市交通擁堵問題中人的出行規律和原因,實現交通和生活的和諧,提高城市的宜居性,為政府精準管理提供基於數據證據的綜合決策。
智能交通大數據平台主要包括五方面的內容:城市交通信息數據系統、城市交通綜合監測和預警系統、城市交通碳排放實時監測系統、公交都市管理系統、公眾出行信息服務系統。
雖然大數據,大數據挖掘技術在交通領域的發展前景一路看好,但大數據技術在實際使用中仍然面臨一些問題。其中最主要的問題就是:面對多樣、封閉的運行環境,交通數據如何收集管理?如何保證數據的質量?如何將其快速的應用?這是各地政府、交通企業、交通系統集成商共同面臨的難題。
博為101異構數據採集技術無需系統廠商數據介面,就可以直接採集Windows平台各交通系統指定數據,從而建立交通大數據平台。並且能實現實時數據採集,滿足交通數據動態化應用要求。數據採集是大數據在智能交通領域進行應用的基石。
其實這是個早已存在的領域 GIS 和 Spatial Data Mining,之前一直被人忽略而已,近幾年被大數據風又炒熱了。空間數據挖掘有很多有意思的案例(Slides from UMN, Shashi Shekhar, http://www-users.cs.umn.edu/~shekhar/talk/2012/ss_aag_nih_sdm_apr_2012.pdf)。大家可以關注一下ACM SIGSPATIAL GIS 以及 SIGMOD,VLDB 和 ICDE 這四個會議上Spatial相關的論文,基本上就是這個領域的前沿進展。其中有很多關於交通數據GPS數據,還有室內室外beacon數據。其他答主提到的MSRA 鄭宇 Yu Zheng 博士也是 SIGSPATIA會議的常客。
近幾年很火的很多人在玩的一個數據集就是很多答主提到的New York City Taxi Trips records. 包括了Pickup location,Dropoff location, 還有itemized fare, passenger, distance什麼的。Po一張用我們實驗室GeoSpark (0.8.0) + Babylon(1.0, Alpha) 軟體(基於Apache Spark)製作的NYC Taxi Pickup Location Heat Map (6千萬像素級別原圖無法上傳 http://www.public.asu.edu/~jiayu2/babylon/nycheatmap.png )我們也支持Gigapixel以上,地球級別,超高清晰度圖片
現在既是大數據的時代,又是爭取用戶、信息共享的時代 誰擁有更多用戶 誰就掌握了市場的主動權 就如各類導航APP 要想不斷爭取更多的用戶 實時的數據更新、數據挖掘就是企業在互聯網數據時代立足的根本點
另一方面,單純的路況信息已不能滿足用戶對其的需求 更深一步的數據挖掘,就是所謂的周邊環境地理信息 也正在更好的服務著商家、用戶。
以及當今時下最熱門的物聯網技術應用。交通行業更是佔比15%。
交通大數據,讓出行更智能
每次出門,是否總擔心路上遇到交通擁堵?每次行車,是否總害怕前方遇上交通事故?這些問題,恐怕當今社會每個人都曾遭遇過。通過現有的IT技術在大數據時代背景下,完全可以打造一座智慧之城。
痛點解決:怎樣加劇智能交通產業迅速向前?
城市在逐漸吞噬著自由,帶給人類更多的痛處。城市迅速發展的背後,非常突出的問題是交通擁堵、交通污染日益嚴重,交通事故頻繁發生,這些都是各大城市亟待解決的問題。我們渴望越來越智能的交通,渴望越來越便捷的生活,當智能交通遇到大數據,就如同遇到了催化劑,一場劇烈的化學反應加劇了智能交通與大數據的共同發展。
智能交通是改善城市交通的關鍵所在。為此,及時、準確獲取交通數據並構建交通數據處理模型是建設智能交通的前提,而這一難題可以通過大數據技術得到解決。
數據支撐:交通監管部門管理通數據
數據主要來源於交通監管部門管理數據,包括高清監控視頻、卡口數據、線圈微採集波數據以及路況數據,行車記錄、統計分析交通擁堵路段、司機車輛數據等。
實現途徑:多樣化數據的智能研判
利用大數據技術,結合高清監控視頻、卡口數據、線圈微採集波數據等,再輔以智能研判,基本可以實現路口的自適應以及信號配時的優化。大數據分析研判功能,還可以支持對卡口數據、視頻監控數據進行二次識別,提高車輛信息的準確性,進而利用大數據實現軌跡分析、落腳點分析、隱匿車輛分析等功能。
雲計算很大程度上就蘊含了交通作為城市動脈的數據流。通過視頻監控,採集各個道路視頻攝像頭信息,並對比歷史記錄和實時車流、人流進行分析,可以計算和預測該路段當前、未來的交通情況,也可以動態調整交通狀況並實時預警。雲計算平台還可以跟蹤車輛的行車記錄、統計分析交通擁堵路段。以往需要人工參與並監控的交通擁堵和車禍等信息,現在完全可以交由該平台進行處理,主動分析攝像頭搜集的各個路段信息,並分析視頻、主動報警、主動通知用戶。
應用場景:多維度優化交通質量與效率
1.提升單一路口或區域的通行效率
利用大數據技術,結合高清監控視頻、卡口數據、線圈微採集波數據等,再輔以智能研判,基本可以實現路口的自適應以及信號配時的優化。通過大數據分析,得出區域內多路口綜合通行能力,用於區域內多路口紅綠燈配時優化,達到提升單一路口或區域內的通行效率。
2.全程追蹤監控車輛不同場景
對車輛大數據進行深入挖掘,實現事前全面監控、事中及時追蹤、事後準確回溯的不同場景需求。結合智能演算法,二次識別等功能,可以更準確的識別車牌、車身顏色、車型、車標、年款等特徵,並且對遮陽板檢測、安全帶檢測、接打電話檢測、司機人臉識別等進行分析。例如常州市建設的車輛大數據平台來說,能夠協助有關部門每天自動發現套牌車輛10餘起,再根據車輛的軌跡分析和落腳點分析,快速找到套牌車輛進行處罰管理。
3.實時路況監測與行駛路線推薦
利用智能交通的管理系統,可以獲取道路天氣、施工情況、事故情況、結合大數據分析,為出行司機和交管部門提供天氣、路面狀況、事故易發地點、停車場等信息,並根據車輛目的地、行駛習慣,路面情況推薦行駛路線。
文章選自大數據著作《大數據分行業大解析》第三部分第二章11節。此書的作者是中科點擊創始人彭作文和品牌總監劉宇航,二位精通大數據產業,書中用各種真實案例分析了大數據在各行各業的應用,大數據從業人員不容錯過的好書。
交通規劃方面很有聯繫,在美國,交通在大數據研究上很廣。舉一例子,我學校海龜教授王璞:從信息數據中挖「金礦」的人
推薦閱讀: