如何看待機器做閱讀理解已「超越人類」?

原文:機器做閱讀理解怎樣「超越人類」?微軟亞洲研究院為你技術揭秘


那應該是題目比較簡單吧,換這道中文題試試?

截圖來自百度知道

:)


從16年發布mrc比賽,在國內外優秀的團隊努力下,到現在終於超過了人類的表現水平,有了長足進步,應該說算是mrc的一個里程碑。但還談不上超越人類,目前只有EM超過了機器,但F1結合了召回率和精確率,這個應該是更好的一個指標,畢竟人類希望機器回答不是越精準越好,只要出現了答案的邊角也好於回答錯誤的答案。F1最好的是阿里巴巴88.607,還低於人類的91.221

這個結果不意外,在不久的將來,在這個比賽上機器的表現應該是全面超過人類的。2017年是自然語言處理領域重要的一年,深度學習廣泛應用,機器翻譯、文本摘要、閱讀理解等。

深度學習將不同層次的信息映射到高維空間,才能承載足夠的訓練數據和語義信息,再將其壓縮到人類理解的範圍內。其中很重要的技術就是seq2seq,包含了encoder和decoder,encoder就是將多個信息源編碼成豐富的向量表達,decoder再一步一步解碼成所需要的信息,運用了attention,常見的有additive、Multiplicative、self attention。不過閱讀理解的decoder不同於其他輸出單詞序列,而是直接預測原文本裡面每個單詞成為答案開始和結束的概率,本質上也是一個序列。

目前mrc的理解能力有限,大部分的答案跟問句距離非常近。本質上來說,模型學習到的是問題空間向量表達跟原文多個句子空間的親密程度,然後答案就位於最親密的句子附近。對於指代、同義詞表達等問題,表現還不夠好。例如:

第一個問句「Southern California often abbreviated「跟答案」SoCal「非常近,第二個問句「traditionall described eight counties」跟答案「10 counties」靠近。

另外,這個數據集的leaderboard快被國人佔領完了,就像一兩年前的Imagenet。對於刷數據,大家還是很在行的,不知道老外是沒有興趣還是有更重要的事情要做。


瀉藥。題目大概就是小學閱讀理解的水平,而且是大量相似題目訓練出來的結果,沒有舉一反三的能力。


都是噱頭。

機器在自然語言理解中最大的局限在於缺乏「常識」。

舉個例子我說這杯水真「燙」,你能理解燙是個什麼概念,因為你被燙過,但是機器理解不了,因為它沒有溫度感測器,他感受不到這個世界,他能感受到的只有用來訓練他的文本。

你可以試想一下,一個剛出生的嬰兒如果失去所有感官,只剩聽覺和說話的能力,並且每天只能躺在床上不能與社會接觸,光憑一個人每天和他對話,他能像你我一樣感受這個世界嗎?能像你我一樣聊天嗎?


無論如何抗拒,那都將是不可避免的未來,只是未來,已來,感覺撞到了臉上。


進步確實很大,不過超越人類還為時過早,目前的人工智慧知識在閱讀的一些標準維度上取得了一些進步。就比如說職業籃球運動員可以單手抓籃球,如果機器人實現了,那確實是機器人在物體抓控上的巨大進步,但是可以說機器人可以媲美職業球員了嗎?其實還差很多。今天的絕大多數人工智慧其實在功用角度上叫它「人工智障」也許更合適。

說道閱讀理解,我個人認為有兩種標準,一種是硬性的閱讀理解,看到一段文字提取對應的信息,並進行簡單的加工處理得到直觀的信息,比如說考試中的閱讀理解,這種閱讀理解我認為目前的語法語義研究成果都已經比較成熟,實現與人媲美的閱讀理解人工智慧很快就能實現(或者已經實現了?);另一種閱讀理解是通過一段文字或一篇文章,結合文字背後的背景信息以及現實世界中的社會、人文、讀者的閱歷等諸多方面,經過邏輯和「感性」的思考得出的理解和感受,比如我們在《讀者文摘》、《意林》、紅學解析作品等等,後者如果想讓人工智慧實現我認為很困難,雖然可以讓機器深度學習,但是由於問題標準不明確,不同個體差異性太強,需要參考數據太多,因素權值分配等等。

總的來說也就是目前的人工智慧僅僅是處於弱人工智慧的階段(解決特定的具有一定複雜度的問題),還遠不能實現強人工智慧(解決複雜問題,適用於絕大多數環境,具有類似人類的人格)

最後引用熊貓君文章里的一張圖,未來的事情,管它呢~~~


發展速度還是太慢了


200年前,機器超越了人類的力量,100多年前,機器超越了人的速度,70年前,機器超越了人類的計算速度,50多年前,機器超越了人的生存空間。

人類需不需要時刻自卑?


我建議研究者和媒體在宣傳和報道時一定要明確指明測試集和任務,如果能指出指標就更好:機器針對某某任務在某某測試集上的某某指標超越了人類平均水平。這才是這種事的客觀陳述模板。

剛看到了微軟團隊負責人周明老師的訪談,說的還是很靠譜的:

「這遠遠不代表計算機超越了人類的閱讀理解水平,因為這樣的跑分結果是有一個前提條件約束的,比如在確定的題庫和測試時間,並且只是成年人平均理解水平。

超越人類不能作為媒體的報道噱頭,我們在看到技術進步的同時,更應該冷靜思考模型的不斷完善和技術應用落地。這是一個生態,需要所有業界同仁一起健康競爭,把現階段面臨的難題攻克,而非停留在比賽第一這樣的階段性喜悅中。」

http://mp.weixin.qq.com/s/WPNyqfGK1XPtBf_QpBARSQ


謝邀。

百聞不如一見,朝聞道夕死可矣。

樓主。你若是真的去學一下AI相關方向,就知道這個東西到底是怎麼回事。

因為AI現在是熱潮,所以各家爭放衛星。

坊間傳言,帶AI的公司,資本評估時溢價20%。

今年很多創業公司找到我,都是這樣一套說辭

&> "我們需要一套人工智慧系統,來完成我們的商業計劃。"

&< "你們需要人工智慧做什麼呢?"

&> "做什麼無所謂,只要是人工智慧就行。"

然後就屁顛屁顛的拿著我剛學深度學習的分類小模型去騙BP了。。

現在的AI,就是去年的MR,前年的大數據,大前年的無人機。

無人機現在基本成熟,就沒人說了。大數據也成了氣候,少人說了。MR真的開始進入開發工作了,沒人說了。

然後這幫吃飽飯沒事幹的人就要找一個新的話題——AI。

我想起這樣一句話"不是老人變壞了,而是壞人變老了",一樣的意思。套用在這裡,還是一樣的一波不幹實事的人,還是吹著同樣的牛X,還是騙著同樣的BP,過了來年,不知道炒什麼新的噱頭。AI遠遠沒到可以產業化、商業化的程度。走走心啦,少年。。


機器你好,請你來做這道閱讀理解練練手。

(2011·溫州)做父親 豐子愷

(1)樓窗下的弄里遠地傳來一片聲音:「咿喲,咿喲……」漸近漸響起來。

(2)一個孩子從作業簿中抬起頭來,張大眼睛傾聽一會,「小雞!小雞!」叫了起來。四個孩子同時放棄手中的筆,飛奔下樓,好像路上的一群麻雀聽見了行人的腳步聲而飛去一般。

(3)我剛扶起他們所帶倒的凳子,拾起桌子上滾下去的鉛筆,聽見大門口一片吶喊:「買小雞!買小雞!」,其中又混著哭聲。連忙下樓一看,原來元草因為落伍而狂奔,在庭中跌了一跤,跌痛了膝蓋骨不能再跑,恐怕小雞被哥哥、姐姐們買完了輪不著他,所以激烈地哭著。我扶了他走出大門口,看見一群孩子正向一個挑著一擔「咿喲,咿喲」的人招呼,歡迎他走近來。元草立刻離開我,上前去加入團體,且跳且喊:「買小雞!買小雞!」淚珠跟了他的一跳一跳而從臉上滴到地上。

(4)孩子們見我出來,大家迴轉身來包圍了我。「買小雞!買小雞!」的喊聲由命令的語氣變成了請願的語氣,喊得比以前更響了。他們彷彿想把這些音蓄入我的身體中,希望它們由我的口上開出來。獨有元草直接拉住了擔子的繩而狂喊。

(5)我全無養小雞的興趣;而且想起了以後的種種麻煩,覺得可怕。但鄉居寂寥,絕對屏除外來的誘惑而強迫一群孩子在看慣的幾間屋子裡隱居這一個星期日.似也有些殘忍。且讓這個「咿喲咿喲」來打破門庭的岑寂,當做長閑的春晝的一種點綴吧。我就招呼挑擔的,叫他把小雞給我們看看。

(6)他停下擔子,揭開前面的一籠。「咿喲,咿喲」的聲音忽然放大。但見一個細網的下面,蠕動著無數可愛的小雞,好像許多活的雪球。五六個孩子蹲集在籠子的四周,一齊傾情地叫著「好來!好來!」一瞬間我的心也屏絕了思慮而沒人在這些小動物的姿態的美中。體會了孩子們對於小雞的熱愛的心情。許多小手伸入籠中,競指一隻純白的小雞,有的幾乎要隔網捉住它。挑擔的忙把蓋子無情地冒上,許多「咿喲,咿喲」的雪球和一群「好來,好來」的孩子就變成了咫尺天涯。孩子們悵望籠子的蓋,依附在我的身邊,有的伸手摸我的袋。我就向挑擔的人說話:

(7)「小雞賣幾錢一隻?」「一塊洋錢四隻。」「這樣小的,要賣二角半錢一隻?可以便宜些否?」「便宜勿得,二角半錢最少了。」

(8)他說完,挑起擔子就走。大的孩子脈脈含情地目送他,小的孩子拉住了我的衣襟而連叫「要買!要買!」挑擔的越走得快,他們喊得越響,我搖手止住孩子們的喊聲,再向挑擔的問:

(9)「一角半錢一隻賣不賣?給你六角錢買四隻吧!」「沒有還價!」

(10)他並不停步,但略微旋轉頭來說了這一句話,就趕緊向前面跑。「咿喲,咿喲」的聲音漸漸地遠起來了。

(11)元草的喊聲就變成哭聲。大的孩子鎖著眉頭不絕地探望挑擔者的背影,又注視我的臉色。我用手掩住了元草的口,再向挑擔人遠遠地招呼:

(12)「二角大洋一隻,賣了吧!」「沒有還價!」

(13)他說過便昂然地向前進行。悠長地叫出一聲「賣——小——雞——!」其背影便在弄口的轉角上消失了。我這裡只留著一個嚎啕大哭的孩子。

(14)我硬拉了哭著的孩子回進門來。別的孩子也懶洋洋地跟了進來。我原想為長閑的春晝找些點綴而走出門口來的,不料討個沒趣,扶了一個哭著的孩子而回進來。庭中柳樹正在駘蕩的春光中搖曳柔條,堂前的燕子正在安穩的新巢上低徊軟語。我們這個刁巧的挑擔者和痛哭的孩子,在這一片和平美麗的春景中很不調和啊!

(15)關上大門,我一面為元草揩拭眼淚,一面對孩子們說:「你們大家說『好來,好來』,『要買,要買』,那人就不肯讓價了!」

(16)小的孩子聽不懂我的話,繼續抽噎著;大的孩子聽了我的話若有所思。我繼續撫慰他們:「我們等一會再來買吧,隔壁大媽會喊我們的。但你們下次……」

(17)我不說下去了。因為下面的話是「看見好的嘴上不可說好,想要的嘴上不可說要。」倘再進一步,就變成「看見好的嘴上應該說不好,想要的嘴上應該說不要」了。在這一片天真爛漫光明正大的春景中,向哪裡容藏這樣教導孩子的一個父親呢?

(有刪改)

【注釋】①咫尺天涯:指距離雖然很近,但很難相見,就像在很遠的天邊一樣。咫尺:比喻很近的距離。

11、根據文中語句揣摩孩子的心情。(4分)

第(2)段

一個孩子從作業簿中抬起頭來,張大眼睛傾聽一會,「小雞!小雞!」叫了起來。

第(4)段

孩子們見我出來,大家迴轉身來包圍了我。「買小雞!買小雞!」的喊聲由命令的語氣變成了請願的語氣,喊得比以前更響了。

第(8)段

大的孩子脈脈含情地目送他,小的孩子拉住了我的衣襟而連叫「要買!要買!」

不舍之情

12、孩子與小雞之間只隔著蓋子,為什麼父親卻覺得是「咫尺天涯」?閱讀第(6)段作答。(4分)

13、第(14)段畫線句描寫的春景有什麼特點?作者描寫這春景有什麼用意?(4分)

14、關於文中結尾處「我不說下去了」,讀者有兩種看法。第一種看法是「父親應該說下去」,第二種看法是「父親不應該說下去」,你贊同哪一種看法?請簡述理由。(4分)

我贊同第 種看法,理由:


挺沒意思的,科學界不停的進行各種實驗來證明人工智慧已經可以代替人類甚至於超越人類,但這一切都只能說明人工智慧技術在數據採集和分析上取得了巨大成就,但機器之於人類的距離依然巨大,甚至無所謂通過圖靈測試的機器也不過是大量數據資源堆砌出來的,你提出一個問題,機器從曾經接觸到答案中搜索出一個回答你,這沒有什麼驚奇的,這沒有思考過程,只有運算過程,其實現在所有正在研發的人工智慧都在網路上進行數據採集,他們稱這是學習,這和人類在幼年時期的學習過程相似,到依舊只是數據收集,擁有巨量數據然後通過各種演算法處理分析問題。

理論上就可以回答在網路上所有出現過和類似的問題,比如閱讀理解也可以用大數據處理,首先分析文章每一個單詞,和句型,主謂賓找出來,用形容詞和副詞的分析來確定其感情基調,各種修辭,寫作手法自我其分別手段,再和其他文章答案搜索對比,答案就出來了,我相信這些閱讀理解也不會是什麼隱喻深刻的文章,所以我認為這是機器數據分析採集能力的一種提升,而有一次引發的所謂對人工智慧的擔憂只是無稽之談

每當有人鼓吹人工智慧威脅論,我都不以為然,我相信可能人類會因為核彈控制系統bug讓世界爆發核戰而毀滅,但機器人揭竿而起推翻人類,就現有的智能技術我覺得是不可能的,網路上流傳出許多關於人工智慧接受圖靈測試的文章,我觀看這些文章後笑了,這只是一個答題機器而已,智慧生命的思考思維能力充滿神秘感,也充滿隨機性,我堅信單純由程序控制的人工智慧,永遠都無法到達奇點時刻,它需要一點隨機性,但人自身思維的探索已經是神的領域


就好像做乘法,我們人類無論口算還是紙算乘法是算不過計算器的,差距是很大。但計算器是人類設計的,人類只是把乘法的規則轉化為機器運算的規則。換句話說計算器和機器只是人類按照一定規則設計出來的工具,對應到機器學習和人工智慧也類似,所以談不上超越人類,槍炮也是工具,我們也不會談槍炮超越人類,工具為人所用。說工具的失控,其實使用工具的是人的失控或工具本身有bug。

再說一點,我們人類自己都還不了解自己的奧秘,何談那些仿照我們人類一點點基理人造的機器呢?比如,神經網路演算法,其實和我們真實的人腦工作方式還是有差距的,只是有一點點我們能理解小部分的共同點而已。

我們都還不能真正理解自己的智能為何物,我們造出的智能玩意兒真的就能超越我們?說實話,現在外面一切號稱智能的玩意兒都只是複雜一點的工具而已,真的智能嗎?我不認為如此。


只是機器回答理解題答案分數比較高,人類對一篇文章的理解不止閱讀理解題那麼簡單,有唯一答案的。十個人心目中有十部紅樓夢。而閱讀理解題目是有所謂的標準答案的,機器可以學習題目和答案直接的邏輯關係,但理解不了人類對文章情感上的共鳴。


謝邀

作為一個學生狗,長期浸淫在閱讀理解里的我心情真是有點難以言說啊

首先要明確的是閱讀理解的含義。考試一類的閱讀理解,我可以說,機器超過人是肯定的。所有考試類型的閱讀理解,答案都是固定的,套路基本差不多。

來看看正常的閱讀理解是什麼樣的

老師提出問題:為什麼作者描寫的 窗帘 是藍色的?

學生答:「因為 窗帘 是藍色的。」

老師說:「錯!藍色的 窗帘 具有愁緒的意味,表達作者當時困郁的心境……(省略50字)

(段子來源於網路)

這種類型的所謂的閱讀理解,其實都有固定的答題模式。只要機器的檢索系統夠好,稍加整合,即可得到滿分答案。這其實並沒有什麼技術含量,真正考驗的是機器背後敲代碼的人。

人類與機器人最大的差別在於機器人沒有感情,而我們有。所謂一千個讀者有一千個哈姆雷特,我們在理解一篇文章的時候往往會帶上自己的主觀色彩,每個人都有自己的看法。我們讀書所注重的是一種精神上的滿足,而不是去追求閱讀理解的正確率。所以從這個層面上來講,機器人閱讀理解超過人類是沒有意義的。

見識淺陋,慚愧慚愧。


已超過人類是沒發衡量的,機器人超越人類是遲早的事情,至於人類承認這點時,機器人客觀上已經遠超過人類一大截,這在生活中是很常見的,你要是主觀認為別人還不如你時,也許不相上下,也許是你沒自知之明,當你自己都意識到了,那就被遠遠拉下了,至於其他回答中比如那個小意思的回答,你也太看得起自己的理解力了,機器人只會看文字,不會分析語境?你能理解,機器人更能,什麼是機器人不能理解的,我出一道題:老闆,你這豆腐怎麼賣,老闆說一塊兩塊。單看文字,機器人和人都理解不了,聽話的話,人能理解,機器人也能,人為什麼有理解能力,通過十幾年的重複模仿學習而來的,機器人做不了這些事????太看得起自己了,愚蠢的人類。


分頁阅读: 1 2 3