如何幫助學生更好地學習|宋宋的讀論文筆記 week 5/14

來自專欄認知與計算的實證科學

每次跟非學術圈的人聊天，說起來自己研究「人如何學習」，都會被要求講講怎麼樣才能更好地學習。事實上，在認知科學實驗室里研究的「學習」都是極度簡化的情景，如果非要和現實生活做個對應的話，更像是學習怎麼打小遊戲（按按鍵，掙獎勵），而不是大眾理解中的學習知識（e.g. 計算光滑平面上一個的一個大滑塊上的一個小滑塊如何運動）。至於為什麼沒有人（或者很少有人）研究後者，我個人認為是因為學習知識本身是個非常複雜的過程，涉及認知科學研究的方方面面：語言、記憶、規則學習、統計學習、抽象、推廣等等。這就使得我們很難建立一個理論(principle)來描述和解釋對於知識的學習；或者說，如果我們真的能找到一個理論的話，它應該不是跟前面提到的各種認知過程的簡單相加，它們應該是在不同scale上的（個人觀點）。

這周讀的幾篇文章來自Pittsburgh Science of Learning Center (LearnLabs)，他們想研究/解決的問題是：如何讓學生更好地學習知識，這裡「知識」具體地包括（高中）代數、幾何，（大學）物理、化學、中文、法語、英語作為第二語言課程。與一般的認知科學研究不同，他們並不是把學生請到實驗室里做測試，而是給（大量的）學生提供學習材料，研究不同的學習材料（也包括反饋）如何影響他們在自然狀況下的學習。一個接地氣的比喻就是給一個縣的學生每人發個好記星，讓他們每天用好記星學習、做題，研究他們做題正確率的變化。

他們提出了一個用來描述學習效果的模型。模型的假設大概有以下三點：

• 做題所需要的知識可以細分成知識點(Knowledge Component, KC)
• 做題的正確率和對每個知識點的掌握程度有關，把對不同知識點的掌握程度相加，送進softmax來計算正確率
• 對於每個知識點的掌握程度 = 練習次數 * 通過一次練習所得到的提高 - 知識點難度

讀到這裡，你可能會對這個模型有很多質疑，比如：不同知識點之間為什麼是相加的關係，每次練習所得到的提高是一定的嗎還是邊際效用遞減，等等。這也是我的疑問，對此我只能說，這是可以測試的最簡單的模型，讓我們暫且接受它，看看這些研究者怎麼使用這個模型。

研究者們在這個模型中關注的重點是：知識點是如何劃分的。如果我們接受上述模型，那麼如果能對知識點進行正確的劃分，我們就能夠正確地預測學生做題的正確率。

在這個領域的研究中，最傳統的做法由專家來進行劃分(expert-engineered cognitive models)。可以想見的是，這種方法費時費力又相對主觀。因此LearnLabs的研究者們推崇用一種數據驅動的方式來進行知識點劃分。這其中的基本假設是：如果兩類題目很相似，但是其中一類比另一類的正確率顯著低，就說明第一類題目中包含第二類題目所不需要的知識點。

他們的分析以一個最基礎的知識點劃分模型（例如一個專家劃分的模型）為起點，研究學生對這類題目中每個知識點的學習曲線，如果學習曲線有以下三種問題，則說明這個基礎模型的知識點劃分有問題：

1. 學習曲線上下震蕩不平滑
2. 正確率不隨學習上升
3. 模型所擬合出的與同一個知識點有關的參數（例如知識點難度），在不同類型的題目中，應該是相似的。如果參數差異很大，說明有問題

下圖上部就是一個知識點的學習曲線不光滑的例子。如果把這個知識點拆成三個知識點，它們各自的學習曲線（下圖下部）就正常多了。這個新模型也比之前的模型有更好的fit。

弄明白如何正確地劃分知識點有什麼用呢？

這裡的邏輯是，如果能夠正確地劃分知識點，他們就能夠讓學生在這些知識點上分別進行訓練。

Liu and Koedinger (2017) 中舉了一個幾何題目的例子。在計算幾何圖形的面積的這類題中，人所劃分的知識點包括：計算圓面積、正方形面積、三角形面積、梯形面積、長方形面積等等。然而algorithm發現一個fit得更好的模型是把圓面積和正方形面積拆分成forward和backward兩個知識點，即給定半徑/邊長求面積 和 給定面積求半徑/邊長兩種。對於這個拆分的一個直觀的解釋是圓面積和正方形面積的計算過程要平方，反方向的計算要開平方，對於學生而言是很不同的運算。

根據這個發現，他們設計了兩種不同的tutoring system，簡單來說就是把大致相同的學習時間均分給每個知識點。這樣，根據新模型設計的system就會涵蓋更多的給定面積求圓半徑和正方形邊長的題目。他們還給這些題目增加了一些提示和反饋，讓學生更好地掌握運用開平方的運算。結果是，根據新模型設計的system果真讓學生達到了更高的正確率。

在文章中，研究者只測試了一個例子，文章的統計分析也有些不太讓人信服。儘管如此，我仍然覺得這個是很有意思的研究方向。利用大量學習數據（他們的tutoring system大概有上萬個學生在用），通過數據驅動的方式來研究學生學習一類問題的規律，並依此設計更有效的教學方式。

1. Koedinger, K. R., McLaughlin, E. A., & Stamper, J. C. (2012). Automated Student Model Improvement.International Educational Data Mining Society.

2. Liu, R., & Koedinger, K. R. (2017). Closing the Loop: Automated Data-Driven Cognitive Model Discoveries Lead to Improved Instruction and Learning Gains.Journal of Educational Data Mining,9(1), 25-41.

推薦閱讀：