Self-directed learning | 宋宋的讀論文筆記（week 3/26）

寫在前面：

謝謝枝蔚邀請我一起來讀paper！特別是對我這種拖延癌晚期患者不拋棄不放棄，時不時敦促，超級感謝！這篇文章本來只是想把我當時讀paper時候記的英文筆記翻譯成中文再加些評論，結果沒有想到寫成科普向的總結了_(:зゝ∠)_以後應該會轉變風格。。不過還是希望小夥伴們不吝賜教&交流！下周想讀的文章寫在最後，歡迎大家一起閱讀交流！

Week 3/26 - 4/1

Topic: Self-directed learning 自我引導的學習

這周讀的文章都圍繞著「自我引導的學習」這一主題，主要的作者是Doug Markant（現在是University of North Carolina, Charlotte的AP；曾是Todd Gureckis的PhD學生）和Todd Gureckis（在NYU，研究active learning，實驗室有很多有意思的工作，比如研究人在主動學習過程中能不能問出好的問題，是枝蔚的老闆，所以她應該了解更多:) ）

主要讀的文章是下面三篇：

1. Markant & Gureckis 2014, JEP (Is it better to select or to receive? Learning via active and passive hypothesis testing)
2. Markant 2016 (The impact of biased hypothesis generation on self-directed learning
3. Markant, Settles & Gureckis 2016, Cognitive Science (Self-Directed Learning Favors Local, Rather Than Global, Uncertainty)

Q：為什麼要研究「自我引導的學習」呢？

因為這是我們常常面對的一種學習方式呀。傳統的學習理論（例如reinforcement learning）並不太關注這個領域，經典的實驗範式（包括獎賞學習、規則學習等等）也總是研究被試在被給一系列的選擇中如何通過反饋來學習(Daw et al, 2006; Ballard et al, 2017)。但是事實上日常生活中，我們總是可以主動地選擇自己的學習材料。設想一個例子，春天來了，家裡又開始爬螞蟻了，網上能查到很多滅蟻攻略，但是實際上總得自己去試才知道管不管用：是用殺蟲劑、肥皂水，還是滅蟻的誘餌etc？通常情況下，我們總會一次多用幾種方法，希望奏效，然而奏效之後的問題是：到底是哪種方法起作用了？如果不奏效，是再堅持用用看呢（沒準多用幾次才有效果），還是換另一種方法？如果換方法的話，換哪種呢？這種主動選擇材料、並從結果中學習的方式，是我們總會經歷的。

Q：自我引導學習的優勢？

和被動學習（隨機提供的學習材料）相比，自我引導學習更加的高效。這是因為學習者可以選擇最有信息量的學習材料（hypothesis-dependent sampling bias）。比如，如果通過幾天的嘗試，你發現殺蟲劑和滅蟻誘餌最管用，但肥皂水並不太管用，你可能會選擇分別測試殺蟲劑和誘餌，看看哪個最管用。然而，如果是被動學習，你可能被要求去測試那個你已經知道不管用的肥皂水，這對於你找出最有效的滅蟻方法就沒什麼幫助。

當然，隨機提供的學習材料和自我選擇的學習材料差別會很大。進一步的問題是：如果被試1可以自主選擇學習材料（selection條件）；被試2不能自主選擇，而是得到跟被試1完全相同的學習材料（"yoked" reception條件）。被試1和被試2的學習效果會有差異嗎？

這裡我們要進行一個有意思的區分，那就是學習者是否是在做Bayesian learning，即他會同時考慮所有可能的假設，並利用得到的信息評估每個假設正確的可能性；另一種學習方式是sequential hypotheses testing，即學習者每次只考慮一種可能的假設，如果得到的信息支持這個假設，就繼續堅持此假設，否則轉而考慮另一種假設。Bayesian learning會預測selection和yoked reception條件下的學習效果是一樣的；而sequential hypotheses testing則預測selection條件比yoked reception條件學習要更有效，原因是每個學習者在每個時間點所考慮的假設會是不同的，被試1所選擇的利於他學習的材料，並不一定對於被試2的學習有利。實驗結果印證了後者。

自我引導學習的另一個優勢是能導致更好的記憶水平。這一點其實還挺符合直覺的。因為能夠自己選擇學習材料，學習者會更有動力，會更加投入，所以對於學習內容的記憶更鮮活。我沒有仔細關注這一方向，所以就只是簡單提一句。

Q：自我引導學習的缺點？

在前面我們提到了，自主選擇學習材料會使學習更加高效，這是建立在學習者能夠選擇最有信息量的學習材料的基礎上的。然而有時候我們不能提出好的假設來驗證。例如（接下來關於滅蟻的原理都是我編的_(:зゝ∠)_），某種殺蟲劑一方面會散發出讓螞蟻不喜歡的氣味，而讓它們不再靠近；另一方面，殺蟲劑也是有毒的誘餌，如果螞蟻吃到了就會中毒身亡，但這一點是學習者所不知道的。在這種情況下，學習者學到的結論是：殺蟲劑有用。但是事實真相可能是，需要同時有螞蟻不喜歡的氣味和有毒的誘餌才能徹底斷絕蟻患。在這個情況下，因為學習者在提出假設時沒有能夠同時考慮兩個方面，自我引導的學習導致學習結果並不理想。Markant (2016)研究了一個問題有兩個可能的影響因素的情況。如果這兩個因素看上去相互獨立，那麼如果正確的結論只與其中一個因素有關，學習會更容易；如果這兩個因素看上去融合在一起，那麼如果正確的結果跟兩個因素都有關，學習會更容易。

我實在是編不出例子來了，就直接貼文章中的實驗（圖來自Markant 2016）：

與此相關又不盡相同的另一缺點是學習者容易去測試和自己的假設一致的例子（confirmation bias）。一個大家可能見過的例子是：

如果讓你檢驗一條假設：「如果一張卡片其中的一面是母音字母，它的另一面一定是個偶數」，你會選擇翻上面的哪兩張卡片？很多人在第一次做這個問題的時候都會選擇翻卡片A和4。但是事實上翻4這個卡片並沒什麼用。你可能期待翻出4的背面是母音字母來支持這個假設，這當然很好；然而，如果它的背面不是母音字母，也不和這個假設所矛盾。正確的做法是翻A和7，如果7的背面是母音字母的話，就說明了假設不正確。

在自我引導的學習中，confirmation bias會導致學習者傾向於學習和自己當下的假設一直的內容，而不能選擇學習最有信息量（最能區分幾個可能的假設）的內容。

Q：人們究竟是怎樣進行自我引導的學習的呢？

我們剛剛說了自我引導的學習的優勢和缺點，但其實最有意思的問題其實是，人究竟是怎樣進行這類學習的？是能更多地利用其優點，還是受其缺點所累呢？Markant, Settles & Gureckis (2016)中發現，在選擇學習材料的過程中，人們並不會選擇最有信息量的材料（最有信息量=能最好地區分所有的假設），也並不會只選擇與自己當下假設一致的材料，大部分人的做法是選擇能更好地區分其中兩個假設的材料。當然，這裡也有個體差異，作者對此的解釋是這與工作記憶容量有關。

我的評價：這裡做的實驗是分類（classification），被試的任務是把在兩個維度上變化的例子們分成三類。由於分類任務本身的特點（要把二維空間劃分成三份，被試其實就是需要找到劃分的邊界），很自然的被試就會在邊界附近取樣，看上去就是在嘗試區分兩個假設（即這個樣本是在邊界的哪一邊呢）。這裡的結論能不能推廣到其他的學習範式中就不得而知了。

預告（4/2-4/8）：

下周我準備讀 Building machines that learn and think like people，題目看上去就很有趣，而且這篇文章還激起了很多（26篇）評論。我打算讀正文，也讀評論。歡迎有相似興趣的小夥伴一起讀&交流！