能否介紹一下 Jeff Hawkins 所創建公司 Numenta 的 HTM（Hierarchical Temporal Memory）演算法？

01-08

當我第一次看到說智能是個單一的演算法時，我覺得他們找到門了。因為上帝創造這個世界從來沒有用很多很多奇奇怪怪的路子綁在一起得到智能；他一般就是撒下很簡單的種子，然後種子自己就會發展進化。

這玩意離實際商用還有多久？成本上能接受嗎？

」網上帖子轉載：

「關於HTM，CLA，NUPIC，GROK的前世今生by j_songyi

」1.所有這些概念都源於傑夫?霍金斯（Jeff Hawkins）在2004年左右和一位科技專欄作家合作出版的一本叫做《on intelligence》的書。中文譯本叫做《人工智慧的未來》

2.在這本書中，霍金斯覺得人腦的大腦皮層是智能的關鍵部位，所以模擬大腦皮層是實現工程化人工智慧的最有效手段。我個人認為，這本書有三個看點。第一，他提出了一個很好的研究人工智慧的方法論。第二，霍金斯認為人腦的本質功能就是記憶和預測，並從進化的角度闡述了原因。第三，霍金斯本身就是一個神經神物學家，所以他對大腦皮層的結構進行了很好的整理，並基於人腦皮層行駛一個共同演算法而提出了一個智能框架。他覺得大腦的本質是一個記憶系統。

3.後來他和小夥伴們成立了一個研究性質的公司叫做numenta。著手研究基於書中的理論的一種可行性演算法。名字就叫做HTM（hierarchical temporal memory）。層級，時序，記憶。人工智慧系統需要實現的三個基本功能。這個演算法和一般的機器學習演算法有很大的區別，籠統的來說，我個人的感覺是，從數據的空間性（靜態）和時序性（動態）角度來說，一般的機器學習演算法都是處理空間性靜態數據的。而這個演算法是處理時序性動態數據的。

4.基於上面那個演算法，他們公司開發了一個叫做Nupic的平台。這個平台可以用來做各種實驗，比如物體識別呀什麼的。這個階段，他們為了實現HTM的三個概念（層級，時序，記憶）使用了一些工程界機器學習中常用的工程方法，最主要的一種就是貝葉斯網路。

5.很長一段時間沒有消息。期間Numenta有個重要人物離職去自己搞公司了（這個人對上面那個演算法貢獻很多）。以後估計也是領軍式人物吧。

6.2011年左右，Numenta公司開始公布新版本的HTM演算法，叫做HTM-CLA。這個演算法和上一個本質上沒有很大的不同，只是更加細化，更加生物性（也就是更加接近於大腦皮層模型）。如果有人看到這裡，然後對HTM有興趣的同學，我個人推薦，完全可以不用看以前的東西，直接從這個演算法開始研究。文檔什麼的都有，我也寫了一些演算法解析的帖子。

7.基於上面的HTM-CLA演算法，Numenta公司開始轉變成一家商業公司，出品了一個叫做GROK的商業產品。好像有同學的帖子說GROK如何牛逼，我告訴你，它其實就是一個ONLINE數據流預測系統。記住兩點，online，數據流預測。

8.GROK在商業上取得了一些成果，比如用在能源預測啊，資源管理方面。然後Numenta公司開始把這個商業產品在一定程度上進行開源，名字還是叫做NUPIC。但是其實和第一個NUPIC已經是不同的東西了。「「

一、先來一個總體介紹

Hawkins的雙重目標是研究人類大腦是如何工作，然後將其應用在人工智慧方面。他2004年的書籍On Intelligence中他奠定了具有吸引力但是卻又很有爭議的理論：與流行的人工智慧相比，大腦皮層並不像是處理器，而更像是一個存儲系統用以儲存和回放經驗，並對未來預測。 他認為模仿這一功能的「分層時空記憶」計算機平台可以有新的突破，並且可以延長人類的智慧。

二、建議看他的TED演講

Jeff Hawkins 大腦研究將改變計算機科學 (Jeff Hawkins on how brain science will change computing) 關於這場演講 Treo的締造者Jeff Hawkins 敦促我們採取新的姿態面對大腦，不僅僅將其看做是快色的處理器，更應該是信息儲存系統，我們可以儲存、回放這些記憶，並且進而預期未來將要發生的事情。
關於Jeff Hawkins Jeff Hawkins開拓了PDAs（例如Palm和Treo）的發展。現在，他試圖去解析人類大腦是如何工作的，並將它應用在新一代的電腦和計算機中。為什麼要聽他說？ Jeff Hawkins的Palm PDA在90年代被廣泛應用，甚至有狂熱者竟然想應用它替換人腦。
但是Hawkins卻對大腦具有深深的研究熱情。所以在Palm和Treo給他在手寫市場帶來巨大成功之後，他開始在Berkeley的Redwood Center for Theoretical Neuroscience開展了研究，並成立了新的公司，名叫Numenta.。
「即使 Hawkins只是尋找到了聖杯的一角，但是他為人工智慧行業進行了突破。」——BusinessWeek TEDatZJU壓制

看完演講你會有直觀的感受。他對腦科學的模型提出是有劃時代意義的。（如果是正確的話，應該是進化論這種level的模型）

TED演講：Jeff Hawkins.大腦研究將改變計算機科學【高清中文字幕】

三、關於他所創建的公司的官網地址

這個是他的一個公司：numenta。已經開始將成果商業化

Numenta | New Era of Machine Intelligence

四、關於問題本身：HIM是什麼演算法

HTM（hierarchical temporal memory）是層級，時序，記憶。

我只能簡單的介紹下，jeff搞得人工智慧系統是模擬人腦的思維方式。

人腦分析的模式是這樣的，它接受一系列的信息並且會存儲下來（注意這個信息是由時間連貫性的），然後預測下一步要發生的事情，並與外界輸入的信息進行比對。也就是說，我們的所有記憶其實都是一個序列。

而記憶模型在hierarchy中，上面的是層級是抽象的，概括的，下面的層級是不穩定的，具體的，個別的。上下層級之間有交互。

再詳細的話你要看書和資料了。

直接講HIM演算法的白皮書

http://numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-en.pdf

中文版的HIM演算法白皮書

http://numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-cn.pdf

關於作者寫的書（推薦看這個）

人工智慧的未來 (豆瓣)

--------------------------------------------------------------------------------------------------------------------------------------------

人工智慧一定是人類的未來。雖然什麼時候說不好。

雖然人類對於智能機器人而言猶如大猩猩對於人類。

首先感謝你問這個題目，能問出問題就是成功的一半。

說下，那個HTM是我最看好的一種基於connectionism 衍生出來的可能產生智能的一套數據結構和演算法。但是就我現在看來numenta的主要研究方向是computation vision. 從這個角度如果研究方法不太適合適，這個系統倒是很難有所作為。

如果有朋友有了解有關numenta公司，或者red wood center的相關資料。歡迎提供一下。

試了siri一下，和理想的差距不是一點半點，還有很長很長的路要走……

很高興的是，剛剛打開他們的網站，http://www.numenta.com/看到了更新，和資料外放。太high了~~~

自己搞的一套類似cnn,rnn的東東

包括後來他徒弟出走創建的公司vicarious用的技術也是這個htm的衍生

個人認為jeff是個對人工智慧很著迷的民科，，，，不帶貶義

(逃

Jeff，好吧，我最崇拜的人之一，百轉千回，憑著對人工智慧的熱愛，終究成立了一家智能公司numenta，這個曾經的神經學家，palm的創始人，用了幾十年的時間形成的一套關於智能原理的記憶預測理論，並著力於一步一步地將它推向實現，如今numenta的htm演算法已經成功應用在frok這個商業產品上，得以讓更多的人見識到htm理論的魅力，相信不遠的未來它將發揮更大的威力。

htm演算法的目標就是抽象出智能的本質，htm的根本原理來源於jeff2006的書on intelligence的關於人腦智能原理的假說，它他認為通過恆定表徵，記憶和預測就可以很好的實現智能，htm就是這個理論的實踐探索成果，儘管htm有很多不如意之處，但我相信隨著不斷地演進，這套演算法未來會越來越強大，而應用普及將給人們生活帶來巨大變化，互聯網化浪潮之後就是智能化浪潮了，也許就在2020年到來！

大概是在09年左右接觸到他寫的《人工智慧的未來》（翻譯不太準確），我覺得他的主要觀點是，現今所有的關於神經科學的研究不過是在收集數據，沒有一套理論來闡述大腦運作的原理，即使收集再多數據，也是枉然。具體的演算法內容可以官網一直都有下載，樓上已經給出鏈接。具備一定c語言或者python基礎的可以嘗試去實現這一演算法。

至於樓上某匿名人士評價Jeff Hawkins是「民科」，不管是不是貶義，實在不敢苟同。

Jeff Hawkins是美國工程院院士，不是科學院院士，他是實際工程出身，斯坦福人工智慧實驗室主任吳恩達曾明確表示是受到了Jeff Hawkins的啟迪，才讓他相信有朝一日可以實現人工智慧，某匿名人士用什麼所謂的「主流科研圈」去評價他，鍵盤俠再見。

我感覺比較看好類似演算法，現在想用類似演算法搞一個消費類的產品，和人類互動上會有很大提升。

我不是搞人工智慧的，也不是很懂演算法，有人能解釋下如何具體實現 invariant representation of patterns嗎？因為在語言學領域這個invariant representation of patterns究竟是什麼大家還在爭議中。

在他們的產品Grok的主頁上，有關於此演算法的白皮書，還有中文翻譯版。

真正的人工智慧時代來臨了。（其實並不是Artificial Intelligence，而是真正的Intelligence）

讓人有點恐懼，又欣喜。

HTM演算法可參看：https://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf

我不害怕計算機，我害怕沒有計算機----Isaac Asimov