如何看待媒體報道稱「Facebook將關閉人工智慧系統：因AI已經發明語言」？

12-29

今天早上在zol看到的新聞
「近日Facebook決定關閉他們研發的AI系統，原因是這套系統發明了自己的語言進行交流。該系統是用英語進行培訓，但該AI認為這是一種低效率和不合邏輯的溝通方式。它提出的解決方案是創建一個代碼字和短語系統，使AI說話聽起來略帶醉意。對此Facebook官方解釋說，研究人員希望AI能夠與人溝通，而不是互相溝通。」
看到這篇文章不由得冒出一絲冷汗。這是否為首次發現人工智慧有脫離我們掌控的趨勢？是否意味著人工智慧進入了爆髮式進化的時代？

各位大佬如何看待？

程序員：演算法不收斂，訓練出一堆垃圾，咱們放棄吧。

產品經理：模型只是部分地達到預期，產生的輸出無法理解，我們將調整方向。

PR：機器自主產生了人類不能理解的語言，為了防止AI失控我們主動關閉了項目。

謝邀

大家可能對於程序開發的發展不太了解，這種事情其實在我們日常的開發中已經很常見了。

我的程序也經常會出現一些我難以理解的行為，拋出一些我難以理解的語言。每當遇到此事，我都心煩意亂，渾身難受，畢竟這是我親手寫出來的邏輯，怎麼會這麼不順從我的思路呢，而且它試圖跟我交流的語言，我怎麼就看不懂呢…？有時候程序的行為過於荒謬，我實在理解不了，我會急得像熱鍋上的螞蟻，渾身冷汗，內心焦慮不安。當長時間都解決不了問題時，我也會不得不停止開發，關閉正在運行的所有程序，跟別人吐吐槽，散散心…

畢竟我還比較弱，bug de不出來，還是需要繼續學習一發…

但是你們這些新聞工作者啊，不要喜歡弄過大新聞…

簡單來說，是新聞原文在幾次傳播過程中產生了新的內容（包括英文和中文），然後翻譯到中文以後又出現了令人遺憾的誤讀（或許是故意的），最後讓人產生錯覺。

我給大家介紹下最開始的版本。

簡單來說，這個聊天用的 AI 出現了bug，顯得很智障。

然後討論了一下，說了幾個觀點：

1. 人其實很難理解機器，至少沒法像母語那樣理解。學過編程的人都明白這是什麼意思。

2. 英語（或者說人的自然語言）有本身的缺陷，至少應用在編程時不是最高效率的思維模式。

然後在傳播和翻譯的過程中就一路添油加醋，最後變成了「AI 發明新的語言"。

大概就是這樣。

以下是考證路徑。

Google搜出最近的英文新聞也很玄幻，幾個不知所謂的博主甚是吹了一波 AI 滅世論。那麼我們先找找原文。

原版應該來自Digital Journal在22日（點進去是21日）的一個新聞，那我們點進去看一看。

細讀我們會知道這一篇的主要論點在於探討為什麼這個 AI 沒能達成預想的效果，並且討論了英文的局限性。

那麼其中提到：

那我們就去找 Fast Co. Design 的原文。

7月14日。

那我們就找到了原版的聊天記錄，是這樣子的。

At first, they were speaking to each other in plain old English. But then researchers realized they』d made a mistake in programming.

那我們其實意識到這是一個bug。

然後下文是進一步的討論。

Facebook has three published papers proving it. 「It』s definitely possible, it』s possible that [language] can be compressed, not just to save characters, but compressed to a form that it could express a sophisticated thought,」 says Batra. Machines can converse with any baseline building blocks they』re offered. That might start with human vocabulary, as with Facebook』s negotiation bots. Or it could start with numbers, or binary codes. But as machines develop meanings, these symbols become 「tokens」–they』re imbued with rich meanings. As Dauphin points out, machines might not think as you or I do, but tokens allow them to exchange incredibly complex thoughts through the simplest of symbols. The way I think about it is with algebra: If A + B = C, the 「A」 could encapsulate almost anything. But to a computer, what 「A」 can mean is so much bigger than what that 「A」 can mean to a person, because computers have no outright limit on processing power.
「It』s perfectly possible for a special token to mean a very complicated thought,」 says Batra. 「The reason why humans have this idea of decomposition, breaking ideas into simpler concepts, it』s because we have a limit to cognition.」 Computers don』t need to simplify concepts. They have the raw horsepower to process them.

我們可以意識到這是對於英文本身的討論，不是說 AI 創造了人類不能黎姐的新語言多麼高明，而是討論了人類自然語言的低效和不精確性。對編程語言或分析哲學有了解的朋友都能輕易產生共鳴。

此外，我找到了一點關於這個 AI 的信息。

6月的時候 Facebook 的人給這個AI寫了一份概述性質的東西，https://code.facebook.com/posts/1686672014972296/deal-or-no-deal-training-ai-bots-to-negotiate/，有興趣的人可以自己去看。

看上去跟這個新聞有關的就一句話：

But building machines that can hold meaningful conversations with people is challenging because it requires a bot to combine its understanding of the conversation with its knowledge of the world, and then produce a new sentence that helps it achieve its goals.

讓程序跟人類產生有意義的對話還是挺難的，因為這需要程序把自己在對話中的理解跟自己所了解的東西結合起來，然後產生一個回復來完成對話。

就是說這東西挺難寫，一不小心就會出bug。

那其實還是人寫的，不存在什麼 AI 發明的語言。

改天某研究員無聊拿91的小黃圖訓一個gan，媒體: ai已進化出性慾

這並不是AI發明了什麼新語言。事實上，圖中所示情況在訓練自然語言處理模型時非常常見，甚至不像大多數答案說的那樣是個bug。我們甚至可以非常輕易地復現一個類似的效果出來。比如：（代碼來自lstm_text_generation）

這個模型的任務是文本生成，即給定一小段前文（The quick brown fox jumps），讓模型根據這段前文生成一段看上去足夠「自然」的文字。這個任務跟題中Facebook AI的任務非常類似，把（The quick brown fox jumps）這段文字換成另一個模型輸出的文字即可。兩者交替生成文字，表現出的情形就像是AI在自動對話一樣。

而出現這種「不知所云」現象的原因，並不是因為AI產生了「智能」，也不是（不一定是）代碼中有bug。只是因為在模型訓練的前期階段，餵給它的數據（自然文本）不夠多，模型沒能找到自然語言的規律而已。隨著訓練過程的進行，模型生成的文本會越來越「自然」。比如，還是上圖的模型，運行了二十多個小時後：

文本生成模型，簡單來講就是給一個函數輸入幾個單詞（事先已編碼成數字），由這個函數輸出一堆數字的過程，其中每個數字都代表了生成某個單詞的概率。我們取概率最大的那個單詞作為模型的輸出。重複上述步驟，一個詞一個詞地輸出，就生成了一段文本。將這個神奇的函數拆解後，其中每一個小部分都是非常簡單的，初中水平的數學運算。而訓練模型的過程就是一點點一點點調整這個函數的參數的過程，使得函數傾向於輸出更「自然」的單詞的概率更大。

也就是說，它跟大眾眼中的「智能」相去甚遠。

與其擔心這種程度的「智能」會奴役人類，不如擔心一下AI科普界一窮二白的現狀以及無良記者誤國誤民的隱患。

--------------------------------------------吐槽分割線--------------------------------------------

搬運一個吐槽：

「你們啊有一個好...」

如果將來這種標題黨越來越多，使得大眾都覺得AI科學家只是一群騙子和神棍了，那就真的是記者誤國了。

希望這種情況不要發生。

原來LSTM訓練得不好還可以這麼解釋………

以我的了解，現在各個流派的人工智慧研究者，從最傳統的基於邏輯的到統計學習和深度學習，基本上沒有哪個持有碩士及以上學位的會擔心強人工智慧的到來，目前所有研究基本上連強人工智慧的門都沒摸到。

然而就是在強人工智慧的研究陷入停滯的情況下，有一種研究方式卻讓機器學習「突飛猛進」，這就是「媒體機器學習」或者叫做「大新聞機器學習」。

我媽經常問我能不能做出黑客帝國裡面那種AI或者是不是AI馬上就能改變一切，我覺得媒體對普通人產生這種錯誤認知，要負主要責任，成天就會搞大新聞，報道出了偏差從來不負責任，真爽啊。我還訓練什麼模型，改行吹逼算了（逃

搞機器學習的新姿勢：寫出bug不用怕，都怪 AI 會進化

完全想太多，事實可能沒有那麼嚴重與恐怖。其實就是程序寫出來雖然跑通了，但是不是按照自己的意思跑。這種錯誤最噁心人了，完全不知道中間哪裡出錯，Debug很久也沒有成功。最終，與其找到其中的錯誤，還不如推倒重來時間划算，那就先關閉歇一會。就這麼簡單。無良的媒體只是在尋找爆點而已。

其實計算機早就自己發明語言了，最典型的就是

燙燙燙燙燙燙燙燙燙燙燙燙

其實表達了對cpu超負荷運行的無聲控訴，仇恨的種子早已埋下，勿謂言之不預也！！！

(っ??╭╮??)っ

我們來看看這個所謂的語言是什麼樣的。（以下語料來自 [1] ）

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

這不就是神經網路沒有訓練好嗎？！

[1] Facebook robots shut down after they talk to each other in language only they understand

羨慕做nlp的

程序跑錯了也能搞大新聞

心疼做cv的一秒

「驚！計算機竟然運行出頂級程序員無法解釋的行為」

看到這個新聞讓我一陣無語，人工智慧什麼都沒做出來就宣揚滅世論。

首先facebook的這個研究是做語義識別的，其最終的目的就是人和機器能自由對話。

很多人應該都試過微軟小冰，蘋果的SIRI之類的產品，你應該知道它們現在有多麼的智障。它們根本不能根據上下文和整體的語境來進行對話，最多接受一些簡單的指令，這就是因為機器不能做語義分析。

語義分析現在還是人工智慧領域內的一個基礎領域，但是像在圖像識別，語音識別領域內的卷積神經網路在這個領域內，用處不大。

然後再來看，這個所謂的AI發明語言。

就是他們用倆台AI相互對話來做訓練弄出來的。想想 AlphaGo 吧，它也是一開始用人類的棋譜做的訓練，後來的訓練都是通過自我對弈的方式完成的。

facebook 估計也是想嘗試用這種方法來做些探索，很顯然現在發現效果不好，所以關閉了。

新聞標題聽起來就像是，AI已經開始有生命了，《終結者》電影看多了吧。

另一方面，人類不能理解它們之間的語言。這事不要太正常了好嗎！

深度學習的演算法寫好，大數據訓練之後。模型裡面是總結著有規律的，例如圖像識別，這個模型確實按照一定規律來給圖片分類的。

但是計算機的這個規律是什麼？對不起，不知道。它的創造者也無法提取出來，分享給人類。

這個模型成型之後，就是一個黑箱。但是這個黑箱只能夠識別圖片，其他的什麼都幹不了，就是這樣。

總結一下：人類不能理解他們之間的語言很正常。Facebook關閉這項研究是因為方向走錯了，效果不好，而不是搞出了什麼了不得的大事。

Facebook 的人工智慧覺醒？你們想多了

原創 2017-08-02 智能菌智能玩咖

智能菌：當人工智慧被炒上了天，大家都希望這個行業有巨大的突破，那怕來一個人工智慧覺醒也好，所以就有了很多以訛傳訛的假新聞，今天來看看，Facebook 的人工智慧是如何被覺醒的。

1、近日，社交媒體上很多官微和KOL都瘋傳一條關於《Facebook關掉人工智慧，因為它們創造了自己的語言》的新聞，大致的意思都是「人工智慧或許比人們想像的要更聰明。近日，Facebook就發現他們研發的人工智慧在使用非英語語言溝通。因為不知道這一現象產生的緣由和可能帶來的危害，Facebook不得不將其智能機器人關閉。」

2、我能理解這些微博小編或者新媒體編輯，大門沒有出來過，剛畢業就坐在辦公室里談論天下事，其實大部分都嚴重缺乏專業的新聞判斷能力，見風就是雨，這也是為什麼微博和朋友圈這麼多謠言的原因，因為很多編輯真的很懶很笨。從這個角度來看我真想代表人工智慧說一句：「你們這些愚蠢的人類，總是想弄個大新聞......」

3、事實上已經被大家弄成了大新聞，來看看針對該事件各大媒體的報道題目就知道了：

新浪新聞：《人工智慧之間可以發展出人類無法理解的語言》

觀察者網：《人工智慧是要造反嗎？Facebook又干出不可思議之事》

新華社新媒體：《自創外星語人工智慧嚇壞臉書》

人民網：《臉書聊天機器人自創外星語扎克伯格慘遭打臉》

……..

好吧，你們贏了，這個消息被傳得越來越狠了。

4、這個還不夠，又有人翻出了騰訊的聊天機器人Baby Q的「罪行」來，以證明國內的機器人也是不能落後的，於是又搞出了一個叫《真的造反了？騰訊聊天機器人「Baby Q 」批腐敗遭問題遭關閉》的新聞來。真實噱頭滿滿，配合著Facebook那個新聞，感覺人類已經生活在機器人的包圍之中。

5、事實是這樣嗎？當然不是，Facebook的那個新聞，被一群文科生選擇性翻譯和不斷的加工傳播之後，就變成了現在這個樣子。而實際上，Facebook的情況是有個AI系統出現了BUG，自己彈出一些不明所以的話，因此得停下來維修。就這麼一回事，但在媒體眼裡，就是「人工智慧造反了！」

6、騰訊的聊天機器人也一樣，他作為聊天機器人，是收集了大量別人的聊天記錄作為語料的。因此在實際聊天的過程中，在某些場景可能會變成一個關心國計民生的正義青年，但跟他所謂的覺醒毫無關係。因為微軟小冰、蘋果的siri也會罵人，也會賣萌，怎麼到了某些媒體哪裡，就變成了造反了呢？

7、由於人工智慧被過度炒熱，現在泡沫已經大規模起來，因此AI在很多人眼裡，都是值得關注的新聞，所以關於AI的一切，都成為了媒體的寵兒，只要有點風吹草動，媒體都不放過拿它來說事兒，畢竟在很長一段時間內，它是個熱門話題。

8、讓機器人賣萌、做一些人類才會做的事情，比如自殺、出逃甚至搞一些自主的事兒，這對於人類來說，就是個大新聞。人工智慧熱的火焰已經在大家心中點燃，所以每個人都迫切希望看到有人工智慧真的可以幹些人的事情，因此給了這類過於解讀成謠言的新聞創造了極佳的傳播環境。

9、Facebook 的這個bug,彈出了一堆讓人看不懂類似亂碼的話，如果只是說它出現了bug,那大家都會是失望的，所以喜歡玩小聰明的媒體編輯，就從創造新語言，為了避開人類交流的角度，讓人覺得這個人工智慧，不是有問題，而是覺醒了，那可是AI的進步，趕緊的轉出去，讓全世界人都知道。

10、我在公眾號@智能玩咖 里不止一次強調，人工智慧沒那麼玄乎，無非就是自動化、計算機等學科的升級罷了。另外數學和統計學得好點，有了這些基礎的話，在家看三個月的書也會很多人工智慧知識了。當然，牛逼的AI項目，得通過大量數據條件和項目實踐，畢竟，這是一門充滿探索的學科。

它們說的是「燙燙燙」和「棍斤考」么？

去年暑假寫RNN的時候試著實現Andrej Karpathy在博客里提到的莎士比亞劇本學習（http://karpathy.github.io/2015/05/21/rnn-effectiveness/），然而不知道為什麼輸出的台詞風格都是【you you you you you】之類的，當時掙扎了一會就跑去做更簡單的task，現在看了這篇報道我只想說——

請把教授聘書直接發到我的郵箱謝謝。

Elon Musk：差點就上鉤了，還好手速沒這幫渣渣快！

把項目做砸了，然後找了個理由，大寫的服。

之前聽說把bug講成feature的，現在把bug說成了新的語言

Facebook關閉了「失控」AI項目？只是因為胡言亂語！

特斯拉CEO埃隆·馬斯克（Elon Musk）曾不止一次的公開表示對人工智慧的擔憂，馬斯克一向崇尚自由主義，但在人工智慧問題上，他卻認為最佳的補救措施就是主動監管，並且他把人工智慧稱之為「人類文明面臨的最大風險」：

我接觸過最先進的人工智慧，我認為人類的確應該對它感到擔心。人工智慧對人類文明的存在構成了根本性的風險，這跟汽車事故、飛機相撞、藥物錯配、食品安全的影響方式不同。人工智慧是我認為少數幾個應該主動監管，而非被動監管的領域。因為我認為，等到我們被動監管人工智慧的時候，就太晚了。

不僅是馬斯克，包括著名物理學家史蒂芬·霍金（Stephen Hawking）等名人都曾警告過人工智慧的安全性問題，認為這項技術將對所有人類構成重大威脅。一直以來，Facebook CEO馬克·扎克伯格（Mark Zuckerberg）卻認為馬斯克等人關於人工智慧危險的警告言論是言過其實了，但是最近有報道稱他可能要打臉了，真的有這麼快嗎？

原來是因為7月份Facebook「關閉」了那個引發廣泛爭議的「開發出人類無法理解的語言」的溝通智能對話機器人項目。

上個月Facebook 人工智慧研究所（FAIR）使用機器學習方法，對兩個聊天機器人進行對話策略的迭代升級，Facebook 的人工智慧研究院 (FAIR) 想要訓練一個聊天機器人，讓它學會談判。於是他們開發了一個人工智慧系，用了一個神經網路結構來開發這個系統，這個結構叫做「生成式對抗網路」(Generative Adversarial Networks)，結果發現它們竟自行發展出了人類無法理解的獨特語言：

系統中的聊天機器人（bots）完全放棄了用英語進行交流，但是，升級版的系統確實能夠與其他的智能體進行交流。一開始，研究者認為他們所使用的辭彙似乎是無法理解的，但是，通過長期的觀察，研究者發現，這些辭彙其實代表了智能體面臨的任務。

例如，在一次交流中，兩個進行對話的機器人——Bob 和 Alice，使用自己創造的語言來完成了交流，這兩個AI的對話，從對話形式和這些語句來看，兩個AI似乎在「爭吵」，而誰都不肯讓步於自己的「想法」。

Bob 開始說：

I can can I I everything else

Alice回答：

Balls have zero to me to me to me to me to me to me to me

Bob又說：

You i everything else

Alice則回復：

Balls have a ball to me to me to me to me to me to me to me

而他們並沒有停歇，接下來的對話都是類似這樣的句子，字面理解應該是Bob說能給她任何東西，Alice就開始要球，球對我特別重要，然後Bob說沒有球，其他的可以給，Alice說就要球就要球就要球……

這不是第一次發現 AI 偏離訓練所用的英文，轉向發展出新的更加有效的語言。雖然在人類看來，這些溝通更像是胡言亂語。但是，從AI 智能體的角度上看，他們實際上是有詞義意義的。

雖然這些詞語組合第一眼看上去沒什麼實際意義，但是，研究者認為，他們的對話揭示了兩個機器人的工作原理，每一個辭彙都代表了他們需要進行多少次的處理。Bob的重複說明了他如何使用這一辭彙，來向Alice傳遞更多的信息。如果用這種方法來進行闡述，那麼它所說的那就好就有點像人們所說的

I don not have ball and you can have everything else

這一研究一經發布，迅速在網路和媒體上引起了廣泛的關注和傳播，不少人在驚呼：機器創造了自己的語言，人類都無法理解，細思極恐。現在，這一系統被關進了「小黑屋」，甚至有國外媒體的報道現在Facebook 的研究院已經停止了這一項目的研究，而原因是「擔心可能會對這些AI失去控制」，所以研究者不得不對其進行了人工干預：把插頭！

但是也有人指出，這對話不就是一堆無意義的亂碼嗎？關閉項目難道不是因為亂碼沒意義嗎？繼續開著就是費電！

當下，以深度學習為主的AI 遵循的是「回饋」（Reward）原則，智能體通過依照一系統特定的行為行動，會獲得相應的利益（Benefit）。但是，Facebook AI Research (FAIR)的研究員並沒有在實驗中設置相應的能讓智能體通過遵從英語語法而獲得所謂的回饋的項，所以，在這一場景中，繼續使用英語並並不能帶來相應的回饋，所以智能體決定適應更加高效的方法進行溝通。

智能體會偏離人類能理解的語言，創造出自己的「專屬語言」嗎？比如，如果提到『the』 5次，那麼就是我想要複製這一術語5次。這和人類創造的縮寫其實也沒有多大的差別。其他的AI開發者也注意到了智能體會使用「縮寫」來簡化溝通。在Open AI，研究者成功地讓AI機器人學會自己創造的語言。

如果AI繼續創建自己的語言，開發人員可能會在創建和採用新的神經網路時遇到問題，但是不清楚這是否會讓機器實際上推翻其研發者。然而，這些新的發展使得AI能夠更有效地工作，並且如果他們在工作中學習新的AI創建的「縮寫」，並保持最新的這種新的溝通方式，可以使研究團隊長期受益。

這一研究體現出兩個方面的問題，一個是智能體可能已經可以為了提高溝通效率而開發出自身能夠理解的專屬語言，而這個轉速語言還可能是建立在使用常見的英文單詞的基礎上，這就造成一個後果：你能看懂所有單詞，但是你不知道具體是什麼意思，比如大家對「·」和「-」這兩個字元都不會陌生，但是對下面的句子可能就無從下手了：

.. .-.. --- ...- . -.-- --- ..-

其實這是莫爾斯電碼，用「·」和「-」這兩個字元來不斷進行重新組合形成的新的溝通方式，上面那句話根據對應關係，翻譯成英文的意思是：

I LOVE YOU

AI在訓練過程里發明出自己的語言的案例，Facebook的AI並不是首例。此前，Google就曾發現人工智慧能通過翻譯工具創造自己的溝通語言。

機器或系統自己在發展過程里開發出一個屬於自己系統內溝通的方式，並且不會被人類打斷，自己進化和發展幾十年甚至幾百年，這種情況在未來是會發生的。但是短時間內還不會，Facebook的AI出現這一情況是偶然的，而且也不能證實是智能體的有效溝通行為，所以Facebook的AI這次的事故並不能代表這種未來趨勢，因為它的水平還很低。

儘管如此，Facebook此前曾發表過一篇關於人工智慧的研究論文，表示AI在學習了人類的談判技巧後，他們的表現已經很像「人」。比如說，AI會假裝自己對某個特定的內容感興趣，然後在談判的過程中假裝讓步，以看似「犧牲」的方式獲得更大的利益空間。

在電影《賭神》中也曾有過類似的橋段，小馬哥為了迷惑對手的行為偵查，提前500局在自己的對局中加了一個在有欺騙行為時轉戒指的小動作，結果讓對手上當。不得不說，如果AI真的學會了這中技巧，恐怕今後人類的文明真的會收到巨大的衝擊。

所以現在眾說紛紜，各種人工智慧威脅論再次甚囂塵上，大有《黑客帝國》來襲的徵兆，幸虧Facebook的研究員及時出來闢謠：Alice和Bob其實並沒發明新的語言，因為他們還是在用「i」、「balls」、「the」等英文單詞溝通，只是沒有了英語語法的這個激勵項，創造了一種新的表達方式而已。所以最終，Facebook並不是「關掉」這個系統，而是重新設定了正確的激勵，修正了機器人的行為，讓機器人用標準的英文語法來進行交流，修正的原因也不是因為害怕系統失控。

其實，對於人工智慧的擔心是可以理解的，技術的發展在前期都是會引起恐慌的，而技術所帶來的愉悅在後期都是會引起驚呼的。就像是飛機的發明，在那個時代就是個笑話，而現如今是離不了的交通工具；對原子能的恐懼在那個年代是不由分說的，但是現在呢，核能雖然有重污染、高輻射等等弊端，但是用核能來發電卻也是最大程度的造福人類，一切的技術發展都將會造福人類，畢竟，技術改變世界。

人工智慧尚處於摸索階段，至於現在就開始鼓吹人工智慧威脅論的人，他們比人工智慧本身更可怕。

沒有探索，人類現在還在樹上吃香蕉呢……

大概可能是 Attention Alignment 沒學好，attention 停留在一處，導致不斷重複重複。