如何看待谷歌第一塊移動晶元Pixel Visual Core？

01-28

谷歌在Pixel 2系列智能手機當中隱藏了一個秘密武器，即谷歌自己研發的第一款移動晶元，它被稱為Pixel Visual Core，它是谷歌針對消費類產品的首款定製片上系統（SOC），目前專門用於加速相機的HDR+計算，使圖像處理更加流暢和快速。
Pixel 2和Pixel 2 XL都已內置Pixel Visual Core，但是目前處於休眠狀態，谷歌可能將在軟體準備好之後再激活這款處理器。目前藉助高通驍龍835處理器，Pixel 2和Pixel 2 XL處理HDR照片的速度已經比Pixel快得多，當Pixel Visual Core激活時，速度將更快。
Pixel Visual Core是一種圖像處理單元（IPU），類似於常規的8核SOC。在技術上，有一個第9核心，即左上角的一個ARM Cortex-A53 單元。谷歌設計的8個核心，每一個都是專為處理HDR+量身定製，使用不到1/10的電量，從而導致HDR +性能比當前實施速度快5倍。

谷歌表示，在更新Android Camera API之後，以允許第三方攝像頭開發人員使用HDR +和Pixel Visual Core，它們將成為Android Oreo 8.1預覽中的開發人員選項。顯然，所有這些技術都嚴格限制在Pixel 2代，排除了當前的Pixel所有者和其他Android用戶。該公司顯然認識到Pixel2相機系統的獨特賣點，它正在努力開發和擴大其領先地位。
http://cnBeta.com

利益相關：我們組的忙了好久的項目

忙了一年多的保密項目終於可以說幾句了。

Pixel 1的HDR+是在高通的HVX加速器上跑的，因為HVX不是針對圖像處理設計，所以速度很慢。為了達到快速連拍的用戶體驗，google camera做了一個圖像緩存，把camera sensor的每一幀都存在內存里，排隊處理HDR。這樣一代的Pixel用戶就不會察覺HDR處理的時間。但是這種處理方式帶來了一個問題：像Instagram這樣的第三方拍照共享的app需要所拍即所得，用戶是不能等好幾秒HDR做完了再p圖分享的。所以在一代上，HDR+是google camera app獨有的功能，不能用在第三方app上。由於這個原因以及老闆的滿腔熱血，我們今年就發布了這個Pixel Visual Core來硬體加速HDR+，這樣第三方的app就可以瞬間完成HDR+計算得到處理後的照片。實測效果驚艷，特別是在高光照對比下前後景都非常清晰，不會出現臉部過暗的照片。

這個晶元牛逼的地方就在於8個IPU core是可以編程的，不完全是一個ASIC，所以有很多其他的應用場景。當時設計這個晶元的初衷就是做個全能的圖像處理晶元，HDR+是第一個showcase。

希望大家多多支持Pixel 2這個產品，可以算是目前市場上最好的Android手機。Pixel 2還有每月的系統更新，會有新技能不斷解鎖出來。

謝邀。

激動！在這個XPU的時代，我狗終於發布了一款自己的移動端晶元！簡單的聊幾個方面：

(1) on-device圖像處理/人工智慧是大勢所趨，這需要高性能低功耗的移動晶元的支持。各個公司都在積極鋪路，華為的NPU，蘋果的Neural Engine，現在Google發布了IPU，而且性能極其強悍！像某位知友所提到的，就計算速度來講，華為NPU是1.92 Tera-flops，蘋果Neural Engine是0.6 Tera-flops，而Google IPU是3 Tera-flops (1 Tera-flops = 10^12 float operation per second)，應該是目前市場上最快的移動晶元了吧。

(2) 卓越的Pixel相機。說到Pixel和IPU就不得不提一下Pixel的相機，我發現我周圍的朋友們，不管有多麼不喜歡安卓系統，但提到相機還是不得不承認Pixel要優秀很多。Pixel相機的核心就是HDR+演算法，顧名思義，HDR+就是HDR (High Dynamic Range) 的進階版。蘋果手機中採用的是基本的HDR演算法，其原理是在很短的時間內拍一系列曝光時間長度不同的照片，然後合成。而HDR+是Google從斯坦福挖來的教授Marc Levoy領導下研究出的演算法（這是一位大神教授，主攻計算成像學，之前還在Google開過攝影課，自己嘗試了一下可是沒有堅持下來）。HDR+原理是在很短的時間內拍一系列曝光時間相同的照片，然後再合成，更詳細的介紹請看Google的官方博客。在IPU上運行HDR+只需要1/5的時間，1/10的功耗，這大幅度提升了用戶體驗。

(3) AI開發者生態初步成型，消費者端呢？以IPU為AI晶元，Halide為圖像處理，Tensorflow為機器學習框架，Google在開發者端的路走的很不錯，似乎讓人們看到了Pixel上以人工智慧為基礎的app們百花齊放的未來。然而靜下來想一下，如果沒有消費者，那麼什麼都沒有。安卓系統有久為人們詬病的各種問題，例如耗電量大，使用一段時間後會變慢等。雖然Pixel已經解決了不少問題，但總感覺還是差一些。前兩天跟 @猿泡沫聊天，他說了這麼一句話：Pixel想要玩下去，必須封閉系統，專門針對Pixel做優化，提升用戶體驗！如果泡沫兄一語成讖，以後Google外有開放的安卓，內有封閉的Pixel，想一想也是蠻不錯的。

不管怎麼樣，Pixel作為Google的旗艦手機系列，未來值得期待！

P.S. 關於Pixel 2的使用體驗可以諮詢 @陳然大神！

最近也和幾個朋友聊過這個話題，有點新的感想。

a. 大多數關注來自手機行業（正常啊），作為手機行業普遍關心的是這個拍照以及照片處理的能力（比如 single camera Bokeh, HDR++ 之類的可能性，屌炸天了等等)。

b. 有進一步對比到Apple的A11, 海思的970, 關於屌炸天，和吊打不弔打。。。這個話題還太早（我一直認為單純去比 FOPS沒有任何意義），而且在Android放出NN runtime支持神經網路計算之前，談論Android陣營內部的勝負沒意義；在Apple IphoneX 證明這個bionic 可以支持除了FaceID以外什麼令人著迷的應用之前，談論Anadroid vs. Apple 誰又贏了一局，也沒有任何意義。

但是這個IPU對於google的重要性，怎麼說都不為過。不然以Google的謹慎，怎麼會把一顆還沒有充分驗證過的，功能沒有enable的晶元（感覺完全是第一次tape out的產物嘛，換其他廠家誰敢用啊？！）放到自己的商用旗艦機器上去？？

前面內部人士 Chenjie Luo 透露了「這個晶元牛逼的地方就在於8個IPU core是可以編程的，不完全是一個ASIC，所以有很多其他的應用場景。當時設計這個晶元的初衷就是做個全能的圖像處理晶元」-- 換句話說，這個也就證實了，這8個IPU 是這顆chip的靈魂，它們不是純硬體的ASIC，遺憾的是Google並沒有給出太多的關於IPU的細節，它到底是NN，還是類似GPU的並行計算陣列？或者就是純粹的Vector加速器？

世界上什麼電子設備的應用場景最豐富？答案當然是手機。放在手機上，利用全世界的geek的腦袋去鍛煉這8個IPU，也許下一次tape out的產物就是一個全新的晶元了。

然而，Google的志嚮應該不會止步於手機。這只是Google在移動端部署AI的第一步吧。

還有一個有意思的細節：

TPU IPU

T=TENSORFLOW OR TRAINIG？

I=IMAGNE OR INFERENCE？

LOL

~~~~~~~~~~~~~~~~~~~~分割一下以前的回答~~~~~~~~~~~~~~~~~~~

從介紹上目前還沒有看出有什麼用。貌似先拿來當做圖像處理(ISP)的加速器。

但是潛力還是非常巨大的，放在Pixel 手機裡面也說明了谷歌要借用手機應用來檢驗這顆晶元的能力和未來的前途。

還有幾個有意思的細節(個人推論）：

Google很大方地放出來了這顆晶元的layout圖，所以Ifixit 不需要自己去做rework了。從放出來的Layout看，這顆晶元除了8個並行IPU core，還有一顆A53，還有MIPI/LPDDR4/PCIe controller!!！
這啥意思？這意味著這顆晶元可以拿來做很多其它的應用，而不只是ISP的加速器（否則放LPDDR4和MIPI幹嘛)，更不只是是手機應用(否則放PCIe幹嘛）.

可以拿去做機器視覺前端+後端處理（MIPI 採集， A53做應用調度，IPU做圖像處理加速）--目前不知道MIPI有幾個通道，超過兩個MIPI通道就可以做雙目視覺處理;
如果有需要更加powerful的計算處理，可以例用PCIe介面去後端搭載處理器（目前不知道PCIe的規格是如何的，既然已經有了LPDDR4，相比PCIe 至少是Gen2，很可能到Gen3的級別，榫卯才配得上）。那麼這顆晶元可以簡單退化成一個powerful的視覺前端處理器。
貌似這個是谷歌披露出來的第二顆AI晶元（前一個是TPU)。谷歌是在部署AI時代的戰略：TPU在雲端做training，IPU可以在終端做inference？

Pixel Visual Core剛宣布的時候看了幾篇報道，後來就引文寥寥，也可能是因為Google也沒公布太多信息。

從2008的Android HTC G1到今天已經是第十個年頭，智能手機也基本進入內循環階段

http://static2.businessinsider.com/image/56fa930752bcd023008b9548-2340-1755/global-smrt-shipments-forecast.png

增長高峰期以後，後面基本上就是巨頭的遊戲，一般不會有新的玩家加入，這是2017Q1 IDC的數據，裡面還沒有包含小米，如果算上小米，前面6家應該能佔據8-9成市場。

隨著競爭加劇，比列還會進一步向頭部Android品牌集中，如此一來Google通過Android鏈條連接終端就會出現瓶頸，如果哪個大玩家突然要換系統，換服務呢？其實國內廠家都在更換Google的服務，這是Goolge不願意看到的，沒有服務就沒有數據。Google前面也想通過每一代親兒子選擇不同ODM/OEM來平衡系統里玩家的實力，但奈何池子里可選的魚越來越少。一般成熟行業玩家不會超過三個，特別是電子行業，老三基本肯定虧本。Apple對自己的供應商也是採取同樣培養打壓策略，其實這個事情在Wintel時代也發生過，PC飽和後，為了保持自己的壟斷地位，和台灣辦卡廠商，ODM/OEM，電子賣場博弈的歷史，有機會再表。

扯了這麼多，無非想說明，Google自己做硬體是一條不得不走的路，但是一個軟體公司做硬體，和一個硬體公司做軟體一樣，都是異常艱辛，但Google還是在持續投入，從早先的Moto到最近的HTC收購都是為了硬體。即使這樣，今天的Pixel 2 ID設計比華為和三星還是有不小的差距。這從Pixel系列的銷量也可以看得出，8個月100w，一年算200w，這個量在中國大概是做山寨機的水平。

如何讓Pixel系列能在今天殘酷的手機市場脫穎而出，大概是手機部門的當務之急。無非就是價格，渠道，差異性。google進來太晚，我想能留給他的選擇大概也就只有差異性了，但android又要開源，Pixel做個新功能，如果都是基於公開市場的晶元，說不定沒發布就被別人山寨了。google有google的優勢，android節奏是他把握的，在android標準版上加什麼新功能過google說了算，其他廠商可以改，但時間和投入自負。Pixel Visul core目前還沒看到開源的希望，這也就是說，以後Pixel系列上的新功能估計是無法直接拿來在三星小米上用了，當然有實力廠商會想辦法去實現，注意這個Pixel Visual core是可編程的A53+8×IPU+DDR，這上面演算法的可玩性就很高了，而演算法是google的強項。放到全球，google也是最牛逼的軟體公司，這對硬體公司來說也是一道巨大的坎，即使你參考了google的演算法，沒有他的硬體，性能也不如他，這樣Pixel系列手機的差異性就出來了

再更一步，現在買手機一看拍照二看外形，後面再加上人工智慧秘書，Pixel Visual core就是針對這個設計，可以預計後面基於google特有硬體的系統應用越來越多，那麼其他Android手機廠商壓力也會越來越大，特別是那些晶元實力不夠買大路晶元的玩家，沒有專有硬體，你性能沒法和Pixel手機比。當然也可以定製晶元，但軟體+硬體+spec都要自己搞，投入大大增大。

我覺得會引起新一輪的Android手機廠商洗牌，Pixel VS 其他品牌手機。三星已經有動作了，前幾天發布了一個linux on galaxy，Linux on Galaxy | SEAP，其實三星幾年前就想到這個問題了，奈何搞不定軟體啊，還記得大明湖畔的Tizen嗎？其實這是人口小國的通病，沒法搞定軟體生病，說到底還是軟體人才不足，韓國/日本都是這樣，甚至這麼去看歐洲各國都沒問題。後面就是華為怎麼跟進了，對華為好一點是國內市場沒法用google服務，高端應該不會有啥影響，但是我大華為是國際大廠啊！從這一點上看我更看好偏軟的小米，和google節奏一致。

Android下半場剛剛開始，Google能不能打出差異牌躋身Android手機高端市場，拭目以待！

機器學習在移動端開始火起來

Pixel Visual Core 本質和華為的 NPU，蘋果的 Neural engine 一樣都是移動設備上的神經網路晶元，用於機器學習

而且 visual core的規模和計算能力最大，約3T，華為的1.9T，蘋果最弱 0.6T。

現在移動設備的雙巨頭蘋果和谷歌都在推機器學習，華為也算是趕上了第一波。但另外的三星，高通，以及小米OV目前目前還沒有實質的產品，後事難料。

Visual Core架構圖，注意A53的大小

另外，機器學習現在在很多行業有應用。做軟體開發的，做互聯網的，做技術的都可以抓緊學習。不要錯過熱潮。

Pixel Visual Core介紹原文 https://www.blog.google/products/pixel/pixel-visual-core-image-processing-and-machine-learning-pixel-2/

500強的NPU現在的適用範圍：

場景識別-Google photos（2015-雲端 2016-本地）

降噪/攝影優化-HDR+（2014-CPU）

圖片處理加速-Google pixel visual core（2017）

谷歌：演算法能解決的事情絕不麻煩硬體

感謝知友教育，上述表達改為

能在通用硬體上靠演算法能解決的事情絕不麻煩專用硬體

瀉藥。我一直警惕和注視谷歌，它未來可能會超越國家的力量。這個問題的重點不是這款晶元。不是谷歌在做什麼，做出了什麼。而是它為什麼這麼做，未來它或成為什麼？谷歌，很多作品都在影射。

它或許是未來的weyland，BNL（瓦力）。

普羅米修斯有一個官方網站，科普（設定）了weyland老爺子傳奇的一生，非常像谷歌……

下圖是2014年初的看法，彼時它還有很多事情沒做……alphago也不讓人震驚。一家企業，最怕有情懷和崇高。因為人性永恆。

谷歌時刻提醒自己

Dont Be Evil

谷歌時刻提醒自己

Dont Be Evil

谷歌時刻提醒自己

Dont Be Evil

BTW，我完全搞不懂蘋果和喬布斯有什麼好。垃圾啊。

Pixel Visual Core內含的處理單元IPU全稱Image Processing Unit，最初是用來實現HDR+照片處理。在深度學習和機器學習硬體興起後，也可以用來支持通用並行計算。開發者不需要專門學習PVC／IPU專用介面，可以用Halide語言進行圖像處理編程，在機器學習方面仍可以直接使用TensorFlow。PVC可以看作Google對於Apple的Core ML和Intel的Movidius Neural Compute Stick的回應。

謝邀。

自主設計晶片不僅成本高昂，且需要一定時間，目前除Apple、Samsung、華為外，沒有幾家智慧型手機廠商有能力自主設計晶片。Google已為資料中心設計晶片，這次是首次自主設計針對消費性硬體產品的晶片。Google企圖追上Apple等智慧型手機領域領先廠商，需要的就是更整合智慧型手機軟、硬體的研發能力。

Google表示，與利用主應用處理器相比，新推出的智慧型手機Pixel 2，相機利用Pixel Visual Core晶片處理HDR照片的速度可提高5倍，能耗相當於原來的1/10。未來數月Google將發表軟體更新內容以啟動Pixel Visual Core，使第三方應用也能利用其強大的處理能力。

報導進一步指出，Google的Pixel Visual Core推出對Qualcomm來說可能不是好消息。Google的Pixel和之前Nexus系列智慧型手機都配置Qualcomm Snapdragon晶片，Qualcomm一直宣揚該晶片具類似的照片處理能力，如今Google宣稱自己做的更好，這可能對未來兩方合作投下變數。Google表示，目前並沒有改變與Qualcomm合作關係的計畫，也沒有向其他公司銷售Pixel Visual Core晶片。

根據Google新款晶片設計圖顯示，Pixel Visual Core包含現代應用晶片的許多元素，這是生產Qualcomm Snapdragon晶片和Samsung Exynos晶片等高階智慧型手機元件的部分技術，藉由該技術把所有零組件整合，使它們協調運行。

過去Google自主開發資料中心晶片，被認為是對晶片大廠Intel和圖形晶片NVIDIA等晶片供應商的威脅，且造成白牌伺服器暢銷。未來，如果Google也學習Apple自主開發晶片，以滿足晶片需求後，晶片市場勢必掀起一陣洗牌潮，影響恐怕不能小覷。

謝邀。。

作為一個本科生，對未來看的不太真切，但總覺得這一波軟體的大發展的下一波還是硬體，這也就是我願意繼續學習晶元設計的原因吧。

暑假裡也去了google總部和在pixel項目中的師兄聊了聊，雖然IC行業人員工作慘淡，但是谷歌願意開發晶元，也算是說明了很多功能的實現演算法上還是有一定局限，需要ASIC去補充吧。

對於圖像處理和人工智慧方面的應用沒有什麼研究，但是可以看得出來google覺得光做軟體也是無法把控未來了，還是需要專用晶元或者硬體才能支撐其創新速度和未來市場佔有率。

這是谷歌AI first戰略的體現。IPU不僅僅是一塊圖像處理晶元，更是AI的載體。

每個時代都有自己特殊的打法，比如移動互聯網時代需要有一款超級APP作為載體，圍繞這個載體構建自己的生態系統，微信、支付寶、淘寶都是這樣，做不到這一點的公司基本就分不到移動互聯網紅利的一杯羹，比如百度。

AI時代的打法是軟硬體結合，提供一整套即時可用的解決方案。

因為AI技術要求比較高，首先你得提出可用的模型；其次，該模型還要能部署到類似於智能手機、智能手錶等終端上；最後，部署到終端上後，該模型還要保證實時運行，而且耗電不能太過分。這三點，對於技術實力一般的公司來說，每一點都是攔路虎。

如果要成為AI時代的安卓，就要為其他技術一般的公司解決這三個問題。這三個問題歸結起來其實就是軟體問題和硬體問題。軟體問題對於互聯網公司都不是問題，麻煩的是硬體問題。

硬體需要大量投資，這跟互聯網公司的輕資產調性不太一致。另外，硬體的開發思維跟軟體也很不一樣。這並不是一件容易的事。但是谷歌做得很好，從TPU到IPU，還有為了降低激光雷達價錢而自己開發的lidar。

AI是全世界信息產業的方向，intel、IBM、Qualcomm、Google、Facebook、Microsoft這些巨頭們都在布局，還有很多新興的startup。

Google這款與intel合作的定製晶元，應當也是這一戰略布局的重要一步。Google是軟體大牛，進入晶元設計需要intel的實力。個人認為將來真正的AI是高度的軟硬體結合，像人的大腦一樣，傳統軟體行業可能會消失。Google為自己的未來在布局。

Pixel Visual Core功能上看就是個圖形處理晶元，實現HDR的功能。但是其已包含了Machine Learning，8個fully programmable domain-specific processor。這都是將來AI晶元的核心基本單元。選圖像處理作為切入點也中規中矩，圖形數據量大，並行度高，用戶感受直接。圖像識別、圖像處理也是人工神經網路最先應用的領域，理論與演算法都很成熟，放小白鼠很合適。

Intel不是有個Image Signal Processing晶元么，sp4就用的5200型號。還有Intel Gaussian Mixture Model晶元，sp4也有用到。

居然有人邀請我。。

根據我渣渣的博士生涯經驗，首先要看他想解決什麼問題，然後看新方法和現有方案的異同和優缺點，最後看實驗結果。

有些回答就是喜歡搞個大新聞。

我覺得在實測結果出來前沒法評價。不過這個架構看起來挺正常的，估計是有點效果的。

互聯網公司捨得砸錢搞晶元問題不大，畢竟很多都是成熟的技術了，可能架構和演算法相對重要些。

不是做這方面的，以下純粹是我瞎猜

首先，這個不是視覺專用的，應該屬於神經網路協處理器，TPU的手機版

然後，為啥要這貨？首先當然是相機需要，按照Blog的說法，主要是為了HDR+。估計那個單鏡頭虛化也仰仗這塊晶元。

根據公開報道 Pixel 的銷量並不高，但是示範作用很大，目測很快各家Android都會支持人工智慧加速。根據以下這一段，聽起來如果用到Halide或者TensorFlow，會自動獲得加速。

A key ingredient to the IPU』s efficiency is the tight coupling of hardware and software—our software controls many more details of the hardware than in a typical processor. Handing more control to the software makes the hardware simpler and more efficient, but it also makes the IPU challenging to program using traditional programming languages. To avoid this, the IPU leverages domain-specific languages that ease the burden on both developers and the compiler: Halide for image processing and TensorFlow for machine learning. A custom Google-made compiler optimizes the code for the underlying hardware.

最後，手機是不是有必要集成AI加速晶元。我個人很看好AI的各種應用，感覺這是一個很大一波浪潮。目前來說，相機 (包括各種美顏APP) 應該是主力應用，各種自動美顏，甚至實時視頻美顏都是可以期待的。現在很多AI服務是基於服務端，隨著手機AI應用能力增強，可能會出一波新的應用。

有一點我很疑惑，這貨為什麼要單獨做，不和GPU整合在一起，兩者還是有相當的共通性。想想現在各家自研GPU也是有道理

謝邀。簡單來說為Google捏一把汗，因為他錯失了好幾個風口浪尖。半導體行業是相對穩定和成熟的行業，後來的玩家想要跨過複雜的高門檻要付出更多的代價。當年Feature Phone時代以TI的雄厚實力想要有所作為都沒有搞定，可以想見難度之大。不過華為海思的確是個異數，在列強官環伺密不透風的鐵桶中、在5G時代撕開了一道裂縫，實屬不易。自己的晶元用在自家的旗艦產品上，在手機晶元行業的確不是尋常路。因為一旦失敗，後果不堪設想。當年Google手機姑且也算是嘗試過這條路，如果不是蘋果，相信今天的手機行業和半導體行業都是另一番面貌了。

不看好，除非只有google自己用，晶元除了功能還有很多其它的指標，價格，面積，專利等等，不是只有演算法。基帶那一塊很有門檻，晶元如果沒有足夠的量就是燒錢。

謝邀。

Pixel 第一代的HDR 照相體驗比較差，速度很慢。這塊新的Pixel Visual Core應該能為Pixel2 帶來不俗的照相體驗，這也許是為什麼最新的評測Pixel2的相機在所有手機中排名第一的原因。不過總的來說，Google的硬體從工業設計到品控都不如蘋果，而價格卻跟蘋果有的一拼，但好在狗家的軟體做的很出眾，再加上無限量的雲存儲空間，應該能吸引不少用戶。畢竟Google在雲方面做的很好，但是在端的方面卻業績平平，AI時代的到來，數據將成為非常寶貴的資源，Google提前在用戶埠布局，也有利於收集更多的用戶信息。這塊片子也許是Google硬體布局的冰山一角。

另，狗家最近也在招聘大量的ASIC Engineer，各個職位都有，面向的都是一些有資深工作經驗的人，待遇極好，當然要求也很高，Google正逐漸從軟體轉向軟硬體通吃，未來AI戰場的大戲，拭目以待。

謝邀對pixel關注比較少對soc也沒有很深入的理解。主要還是看跑分。有可能是業界二流水準，但是有一定的新功能作為賣點。不指望第一代soc有突破性進展。