AI領域學術論文中的實驗是否應該標明不確定度？

01-23

題主在做基礎物理實驗的時候被誤差分析虐得不行，可是最近讀的AI的paper都沒有做嚴格不確定度分析的，有標不確定度的只見過LDA。難道machine learning不需要誤差分析？
Edit12: 題目中的不確定度針對的是
輸入: 演算法A，訓練數據集D，（交叉驗證集V），測試數據集T和評價函數f(T,M)(e.g. 準確率, etc.).

測量手段: 重複n次實驗
在第i次, 用A在D和V 上訓練出模型Mi，使用f(T,Mi)得到評價結果 fi
輸出: 評價結果的平均值, 及其不確定度Q(f1,...,fn, A, D, V, T)

在大規模測試數據上，如果兩種方法性能差別較大，似乎大家就傾向於不做顯著性分析。在差別不夠大的時候，一般會做。

不確定度在AI論文中很少見，倒是很多數據挖掘論文會被要求做假設檢驗，例如p-value。不過這些一般是在數據集比較小的情況下，例如人工評估結果。

首先，物理實驗里如果一個測量值有很大的不確定度意味著什麼？意味著基於這個測量值進行的很多推論都要格外謹慎。

AI這種本質是求解優化問題的領域，如果最終準確率有很大的不確定度意味著什麼？意味著……你需要多隨機初始化幾次試試取個最好的……或者在外面套一層ensemble method什麼的……然後就能當這件事情不存在了……

所以我覺得本質上，不確定度在兩個領域的危害是不同的。

另外，AI領域裡實驗的復現成本普遍比較低，尤其是作者公開源代碼的時候。所以就算不報告不確定度，也不代表數據的質量就可疑。

是應該做。

沒人做只能說明領域的浮躁。

投文章跟趕集搶白菜似的，誰有工夫給你重複二十遍實驗

AI當然是有誤差概念，但不叫「誤差分析」。

有個函數E是計算矩陣中元素與期望值之間的平方，最終AI給出的結果是誤差函數最小情況下的參數序列，所以和題主你這個完全沒關係。

數據驅動，交叉驗證

模型驅動，誤差分析

主要是同一個東西在不同的數據集下面會有天壤之別，所以只能說我跑這個東西準確率多少。

這個問題提得特別好，其實是需要的，只是大家都不會做。。。

沒法分析。。