請教一道無限情況的貝葉斯公式問題？

01-07

這道題在用貝葉斯的時候會牽扯到大小取 n 的概率，但這個相當於 1 到無窮均勻分布取某個值的概率。這一項可以通過直接約掉解決，但真的可以這樣處理嗎？
另外，這道題還要計算一個 n 元正整數集集合最大元為 10 的情況數，我算的是 10^n-9^n ，但再帶進去算出來的答案是發散的。
希望知友給出一個完整的解題過程，現在真的算不出來了。

提了個好問題，這裡沒有先驗分布，貝葉斯公式是不能嚴格成立的，唯一合理的解釋是用0到N的均勻分布，然後令N趨向無窮求極限，這也並不顯然。

但是實際情況下這種方法的確很常用，也就是用似然值代替真正的概率，是很重要的工程方法。參數估計也經常這麼做。

誰出的題啊，條件不全。

首先你是取了n 個字元串構成了S 集合、最後你要求 n 的期望。那麼n 本身應該是個隨機變數。你要求它的後驗期望，當然依賴於它的後驗概率分布。而它的後驗概率分布必然依賴於n 的先驗分布，也就是依賴於最開始你是如何隨機抽取n的。但題目中完全沒有提到n 的先驗。所以條件不全。

你說假設n 在正整數集合上均勻分布，這是完全錯誤的。因為在正整數集上根本不存在均勻分布。

看到@靈劍的答案中假設n 的先驗是從1 到 N 的均勻分布；求完後驗期望後再令N 趨向無窮大。要是這樣理解這題還可以一做，你們做吧

題目里還有另一個小bug. 它說函數 h 生成的整數服從那個指定的幾何分布。這裡隱含了一個從字元串集合中抽取字元串的分布，即h 的輸入變數的分布。後面隨機構造S時抽取字元串所用的分布必須跟這個分布相同。這個也沒有說明。

哎，有這麼出題的嗎？害死學生了。

本題解答

我不明白題主為什麼覺得這道題和貝葉斯有關，這就是一道頻數主義問題。

假如最大值是 1，那麼 $mathcal{P}(n=m) = (frac{1}{2})^m$ ,算一下期望是 2.

假如最大值是 t，那麼

$mathcal{P}(n=m) = mathcal{P}(maxh le t)^m - mathcal{P}(maxh < t)^m = (1-frac{1}{2^t})^m - (1-frac{1}{2^{t-1}})^m$

算一下期望，答案是 A。注意

$mathcal{P}(maxhle t)^m$

是最大值不大於 t 時的概率，題目中要求最大值就是 t，那麼必須排除最大值小於 t 的情況。

本題，假設平均分布下，貝葉斯解法，和頻數主義沒有顯著區別。

貝葉斯公式的適用範圍

說實話，概率不是一種嚴密的理論體系，雖然他有分析學基礎，但實際應用中，概率的演算法很多，比如頻數主義方法、貝葉斯主義方法。這道題按照貝葉斯主義觀點來說，就如同 @月光寶盒娛樂頻道的答案。但一般人都會直覺按照頻數主義來算。

貝葉斯公式，同時定義了條件概率的形式和物理意義，所以，會出現問題，比如辛普森悖論。當然，這類悖論總是有解釋辦法，但實際上，還是由於雙重定義所致。可以參考概率啟示錄，這本書。

簡單說，貝葉斯公式只成立於貝葉斯公式適用的時候。不適用的情況下，你就不要用。適用不適用，全憑具體問題和經驗。

人工智慧中的概率派別

人工智慧中，概率的演算法很多，一部分邏輯概率，傾向於頻數主義；概率圖，傾向於貝葉斯主義。然而，實際上，比較先進的方法，是修改貝葉斯公式，最經典的工作就是正則貝葉斯，比如貝葉斯後驗正則。修改貝葉斯公式的方法，主要步驟就兩步：第一步，改寫貝葉斯為優化目標；第二步，修改目標。當然說起來容易，做起來難，具體細節參考貝葉斯後驗正則那些論文。