食品的前世今生,都在這款可視化監控系統里了

文/許路

近年來,公眾對食品安全的關注度明顯提升,如何建立食品安全監管的長效機制,保證消費者能吃上綠色、新鮮、安全的食品,已成為億萬消費者最為關心的話題。11月22日的線上數據俠實驗室·SODA專場中,2017年上海開放數據創新應用大賽(SODA)年度大獎團隊——「圖靈空間」的隊長許路和隊員蔡可歆分享了其團隊製作的一款可視化食品安全智能監控&輿論監測系統,為我們詳細解讀了食品溯源網路的構建和智慧輿情的監控。

食品安全溯源是什麼?

1997年,歐盟為了應對「瘋牛病」問題的挑戰,最早提出了食品安全溯源概念,並將其逐步完善為一項食品安全管理制度。

這套制度由政府進行推動,覆蓋食品生產基地、食品加工企業、食品的終端銷售等整個食品產業鏈條的上下游。一旦食品質量在消費者端出現問題,可以通過食品標籤上的溯源碼進行聯網查詢,查出該食品在生產企業的食品產地、具體農戶等全流通信息,明確事故方相應的法律責任。

2002年,美國頒布生物恐怖主義行動法案,以保證針對食品的恐怖行徑和食源性疾病暴發時的可追溯源頭。

美國食品藥品管理局基於此法案要求食品生產者、加工者、分包商、零售商、進口商保存紙質或者電子的記錄,用於追蹤和識別食品流通的全過程信息。

而在中國,2011年國家發展改革委、工業和信息化部聯合發布食品工業十二五規劃,提出要建設食品安全溯源體系。

2015年通過食品安全法,明確規定要建立食品安全的追溯制度。

上海儀電集團(DT君註:2017年SODA大賽中,食品溯源方面的數據由該公司向「圖靈空間」等參賽團隊提供)利用科學監測儀器設備以及RFID二維碼標籤,藉助集團IDC數據中心的雲計算、雲存儲、雲安全等服務,覆蓋產品的生產加工倉、儲物流終端、銷售檢驗檢測、政府監管、企業管理、查詢驗證等生命安全周期多個環節,建立了完整的智慧溯源產業鏈,並與上海市食品安全辦公室共同籌辦了上海市唯一的市級食品安全信息追溯平台。

上海儀電集團的溯源數據包括以上這張圖片上的數據欄位,每條記錄都包含了食品的一個身份標識類型的供應商以及購買商或顧客信息。通過提取一些關鍵的信息,進行一個資料庫的交易操作,這樣就可以近似完整地獲取食品的生命周期。

基於食品溯源體系的發展現狀、群眾輿論、政府的監管訴求及廢棄油脂的二次加工等需求,我們設計了一款食品安全監控和輿論監測的可視化產品,整個產品主要由三個部分組成。

食品溯源監控網路,共享源頭追溯數據

第一款產品是可視化的食品流通監控,能夠了解食品流動信息,實時監控商戶的供貨商及進貨食材,挖掘食品流通中易出問題的環節並進行企業健康度評估。

食品溯源網路能夠跟蹤原材料的供應、生產、銷售等各個環節。當某個環節或節點發生問題時,可通過溯源網路快速追蹤到問題食品的源頭,進而發現它的波及範圍,及時進行銷毀處理,控制此類事件的危害。

這款產品的界面如圖所示,圖的左側是食品溯源網路圖,我們將上海儀電集團提供的溯源數據中每一條記錄都連接起來,構成了部分區域的食品流通圖(圖中標明了流動方向)。

右側是企業信息的展示,其中1、2兩個指標為全局指標,後4個指標為針對各個企業單位的數據指標(通過左側的下拉框可以選擇想查看的企業)。

第1個指標是被投訴量排名,是通過對12315投訴電話進行匯總後統計了被投訴量排名靠前的企業,可幫助決策者快速定位消費者的抱怨點,降低負面社會影響;第2個指標是企業健康度排名;第3個指標以詞雲的形式展示了企業的供貨商數據;第4個指標是企業健康度變化;第5個指標是企業在大眾點評上的評分數據;第6個指標是企業食品的進貨品類信息。

其中關於企業的健康度模型會用到食品新聞爬蟲數據、工商局投訴數據、食藥局抽檢數據和食品溯源數據。

首先根據供貨商設定基礎分,接著對新聞爬蟲數據進行基於關鍵詞的情緒分析,給每條新聞打上一個正面或是負面的屬性標籤。對於抽檢數據,也是進行同樣的操作。最終模型是把這些數據融合成現行的加權模式,對於正面的信息給予正的參數值,負面的信息給予負的參數值。

新聞&舉報信息流檢測與跟蹤,實現智能輿論管控

點擊界面左下角的按鈕後,可以切換到第二個產品——智能輿論監控系統,它能夠對新聞爬蟲或者投訴電話進行主題分類,並計算每個主題的能量值,反映事件的影響力大小。

輿情監測是對於互聯網上的公眾言論和觀點進行監視和預測的行為。食品安全網路輿情有兩面性,一方面,食品安全的網路輿情已經成為公眾參與的食品安全管理重要平台,眾多的網民通過食品網路平台來進行食品安全監督,並發布食品安全事件的信息與自身看法,如果能加以正確的引導,則可以為食品安全風險防控做出巨大貢獻。

另一方面,三鹿奶粉、地溝油、染色饅頭等眾多食品安全事件也刺激著公眾的神經,大量謾罵的帖子中夾雜著一些煽動虛假的言論出現在網路中,會對政府的公信力產生負面影響,引發社會恐慌行為,嚴重危害社會穩定。因此,輿論監管平台能夠對於具有潛在風險的輿情進行快速預警,提醒有關部門採取相應措施。

這個產品主要用於實時監控,監測有關食品安全的輿論,並跟蹤輿論的變化。監控界面的左上方是投訴電話的動態展示,左下角是新聞輿論的動態展示,這部分主要是基於話題檢測與跟蹤(TDT)實現的。右側的大圖則展現了各個事件的地理分布,顏色越偏暖,則代表事件能量越大,影響範圍越大。

上面說的TDT是指話題監測與跟蹤技術,以下是技術實現的流程圖。

首先,我們將工商局的投訴電話數據和新聞爬蟲數據分為兩個部分,一個作為歷史數據,一個作為實時數據。對歷史數據進行分詞,統計關鍵詞的詞頻作為每條信息的特徵向量,再進行聚類分析,並分別計算出每個主題的能量大小。

對實時數據集定期進行上述計算,並且與主題庫進行匹配,如果是新增的主題,則添加到主題庫,否則重新計算該主題的能量。

為了能夠反映輿論隨時間的動態變化,我們會對長時間沒有能量增加的主題進行檢能操作,來表明該主題的影響力在逐漸減弱。

可視化油脂流通智能監控,預測迴流風險

第三個產品是廢棄油脂智能監控,我們可視化了上海3萬多家餐飲企業的食用油進貨與廢棄油脂回收明細數據(數據來源於上海儀電集團的石竹油脂回收情況),並進行廢棄油脂迴流風險評估。

廢棄食用油脂就是廣義的地溝油,泛指生活中存在的各類劣質油,包括餐廚廢油、豬牛羊肉內臟和皮加工以及提煉後的副產品油。廢棄食用油脂會不斷地酸敗氧化以及分解等等,從而產生中毒性物質,砷就是其中的一種。

人一旦食用,就會引起消化不良、頭痛頭暈、失眠乏力等癥狀,而其中含有的黃曲霉素、苯並芘兩種毒素都是致癌物質。

不少商家為了降低經營成本增加利潤,會購買價格較低的廢棄食用油脂加工而成的油品,這將直接影響到正常食用油的市場,不利於市場經濟的健康發展。廢棄油脂的監管平台能夠發現可能存在的迴流風險企業,並且進行相應的預警措施。

為了觀察油脂的進貨以及回收情況,我們將左圖設計為反映油脂的整個生命周期的流動圖,綠色箭頭是食用油脂的一個進貨方向,黃色箭頭是廢棄油脂的回收方向,通過可視化的油脂在餐飲加工中的流通過程,可幫助監管者清晰地了解油脂的來源與去向。

右側的四個圖中,圖1、2是全局數據,圖1是廢棄油脂迴流風險比較高的企業排名,通過這部分數據,監管部門可高效地進行線下走訪,避免

「地毯式」地抽查,降低監管成本。圖2是廢棄油脂交易數據缺失企業的展示,通過這部分數據可以促進相關企業的補齊數據,建立完善的油脂回收監控網路。

圖3、4是針對單個企業的明細數據展示(通過左上角的下拉框可選擇不同企業進行查詢),用於了解企業在一定時間內的油脂使用情況。其中圖3是企業油脂購買量和回收量在一定時間內的動態展示,圖4是油脂交易企業及交易量的展示。

這三個產品分別從原材料、加工流程以及群眾反饋三個角度來監控食品產業鏈的安全性。在理想的情況下,對源頭的監控是杜絕食品隱患必須要走的一步,但是考慮到目前食品溯源技術的局限性以及溯源網路的不完整性,我們尚未對上游生產基地進行監控,僅僅做到了生產加工企業到農貿市場再到餐飲企業這三個環節的監控。通過收集數據來完成溯源網路也是將來我們要研究的一步。

最後,我們目前產品的落地方案有三個方向:

+ 為政府提供「食品溯源網路監控」 及「食品安全預警」可視化系統

+ 為企業提供風險查詢介面,可以根據合作企業的健康度,選擇合適的合作對象。並指導企業提高自己的健康度

+ 我們希望為用戶提供食品溯源查詢介面,以及食品安全問題提醒。

註: 本文僅為作者觀點,不代表DT財經立場。

DT君送福利:文中圖片來自作者演講PPT,後台回復「食品安全可視化」,獲取完整版。

編輯 | 項靜:xiangjing@dtcj.com

期待更多數據俠乾貨分享、話題討論、福利發放?在公眾號DT數據俠(ID:DTdatahero)後台回復「數據社群」,可申請加入DT數據社群。

數據俠門派

本文數據俠許路,是2017年上海開放數據創新應用大賽(SODA)年度大獎團隊「圖靈空間」隊長。團隊成員均來自上海速贊信息科技事務所,專研大數據挖掘及數據可視化,有豐富的深度學習系統搭建經驗。他們根據SODA提供的數據以及自身的探索,設計了一款食品安全監控和輿論監測的可視化產品,並一舉奪冠。隊長許路負責產品設計,並參與演算法優化;隊員周涵負責前端開發,其餘隊員負責演算法設計及數據工作。

加入數據俠

「數據俠計劃」是由第一財經旗下DT財經發起的數據社群,包含數據俠專欄、數據俠實驗室系列活動和數據俠聯盟,旨在聚集大數據領域精英,共同挖掘數據價值。了解數據俠計劃詳情請回復「數據俠計劃」,投稿、合作請聯繫datahero@dtcj.com。


推薦閱讀:

演算法類產品的數據產品經理的成長之路(二)
阿里天池大數據競賽心得 : 前50強付出與回報
用數據對女生胸圍來次一本正經的探索吧!

TAG:大数据 | 食品安全 |