為什麼我們可以回憶起一種顏色、一種聲音，卻不能回憶起一種氣味？
那天突然想起檸檬香能振奮精神，於是順勢回想檸檬香是怎樣的呢，發現無法回想起某種氣味。
可是，閉上眼鏡，我們腦海裏裏可以「重現」很多顔色、物體、場景啊。當某個人不在身邊，我們也能在腦海中「回放」ta的聲音啊。
那麼，對於氣味，我們為什麼頂多只能想起聞到牠時的感受呢？莫非這同鼻子的生理結構有關？但是，我們聞到以前聞過的氣味，還是能分辨，這又是為什麼呢？
不請自來。
首先我根據題主的描述解釋下題主的意思，記憶可以粗略的分為兩種形式「回憶（recall）」和「再認（recognition）。經歷過的事物再度出現時能夠確認叫做再認，經歷過的事物不在面前時能在頭腦中重現叫做回憶。這兩種記憶分屬於不同的記憶系統，是彼此獨立的記憶，相信大家都有這種經驗學過的漢字或理論 想不起來了，但是再次見到（哪怕是見到其中的一小一部分）都能重新想起全部，這個就是不能回憶但能再認的例子（很明顯，再認比回憶在某種意義上說 要簡單很多，需要的意志努力要少很多）。顯然這裡題主的意思為什麼氣味不能」回憶「？
——————
下面開始正式作答：
回憶的生理基礎一般包括了初級感覺皮層的再激活，比如說如果你在腦海回想你剛才看到的畫面，那你的初級視皮層的激活模式和你真實看到這個畫面就在你眼前是差不多的。
而由於嗅覺的特殊性，初級嗅皮層完成不了虛擬再現同樣的氣味。簡單來說，初級嗅皮層的功能不是發現某種氣味，而更多的是發現氣味的變化——研究表明 初級嗅皮層的活動與主動吸氣聞的頻率緊密相關（不管有無氣味出現，被試每次用力吸氣去聞氣味時該腦區活性增強）。進一步研究發現產生這一現象的原因是這一腦區的神經元很容易產生適應（即古人說的 久入鮑魚之肆而不聞其臭）。所以這就可以推斷初級嗅皮層的功能主要是發現新氣味而不是分辨氣味本身。
另外，嗅覺本身是一種穩定性極差的感覺。因為兩個鼻孔在同一時間的大小是不一樣（大小不一致代表著氣流量大小不一致），高吸收率的氣味在氣流量大的鼻孔被判斷為更強烈，而低吸收率的氣味在氣流量小的鼻孔被判斷的更強烈。所以即使是同一種氣味在不同時間裡，個體也能產生很不一樣的主觀感覺。這無疑也將增加氣味虛擬再現的難度。
——————
最後補充一點，為什麼有那麼多人回答說嗅覺與記憶的關係很緊密。
嗅覺確實與記憶緊密相連，但不是與回憶記憶，而是與再認記憶（即聞到某種氣味會讓你想起一個老朋友，或者某件事。）。可能原因是初級嗅皮層（額、顳葉聯合處）與邊緣皮層的直接連接，邊緣皮層是記憶和情緒主要涉及的一個區域，有研究發現當刺激被用來觸發有意義的個人記憶時，氣味比相關的視覺層級更加穩定的激活了邊緣皮層（即記憶效果更好）。
由於人的進化嗅覺漸漸變的不那麼重要，因此給人留下的記憶沒有那麼深刻。但這中間具體的原理是什麼呢？
人類有5個感覺：視覺，聽覺，味覺，嗅覺，觸覺。我們的身體從環境中接收信號，傳遞到大腦，大腦經過一系列處理後傳遞到大腦皮質*，儲存在腦子的各個地方。就好像全國各地的信件都發送到中央控制中心--北京去了。這中間有一個信息中轉站（丘腦, thalamus）,負責整理分類這些接受到的信息，再將它們分發到大腦皮質。 那麼現在請各位猜一猜，這五個感官的信息，哪一個不許要通過丘腦就能傳遞到大腦皮質呢？？ == 嗅覺！
無圖無真相
- （做事要有全局觀）這裡可以看到鼻子和大腦有多近。（這也是為什麼用鼻子吸毒high得特別快）
- 下圖可以看到，鼻子感知到的信號之間抵達大腦各處（包括下丘腦）
- 作為對比，這裡是聽覺信號如何傳遞到大腦皮層的(圖中的3就是傳說中的信息中轉站）
嗅覺信息是唯一不需經過丘腦直接到達大腦皮層的感官，因此它很特別。鼻子里聞到的信號直接傳遞到大腦皮層，這樣它留下的痕迹（記憶）沒有其他感官那麼深刻。但是原始不意味著它不重要。很多研究表明嗅覺對我們的潛意識有很大的作用。比如 」聞到了危險的信號「，或者Abercrombie Fitch出名的嗅覺營銷等。
-------------------------------
根據知友的評論統一回答一下，這裡並不是說我們沒有嗅覺的回憶，只是說這個記憶沒有其他感官深刻 （比如，你能記起多少張臉，你能記得多少個漢字，多少首歌曲，相比之下你能準確記憶多少個味道？）。而且，很多時候我們的嗅覺是靠其他感官支撐的（色－香－味）。
--------------------------------
** 高級動物的大腦皮層是包裹在大腦外側的連通皮狀結構。屬於腦和整個神經系統演化史上最為晚出現、功能上最為高級的一部分
最近在讀《記憶的風景》，主要講的是自傳體記憶，自傳體記憶也更接近我們更日常更通俗對記憶的理解。書裡面有一章就是講嗅覺的，看了之後來答題，有理解不對的地方見諒。
正如Pei Pei答案里所說的，嗅覺信息是唯一不需經過丘腦直接到達大腦皮層的感官
有了這個綠色通道，在嗅覺信號被迅速捕捉保存的同時，它也失去了機會去接觸掌控語言的部分。然而，回憶很大程度上是依賴著語言的。於是我們很難像形容眼睛看到的東西一樣去形容嗅覺感知到的東西。我們能夠通過視覺形容檸檬的性狀為，「黃色，坑坑窪窪的表皮，橢長形，兩頭有點尖」，對檸檬香卻難以表達。所以，對於這種振奮精神的氣味，我們難以recall了。
但是我們可以recognition它，甚至由它喚起早期的記憶。
由氣味引發、喚醒的已消失的早期記憶的現象，也就是所謂的普魯斯特效應。有實驗證明，嗅覺能喚起的早期記憶（6~10歲）要比物品名字多得多。有趣的是，這個實驗的對象是一群平均年齡70歲的老人。嗅覺在我們二十來歲的時候就開始下滑，我們能感受到的氣味會很快的越來越少，但是這群老人家卻被喚醒了童年。我贊同書中提到的一個觀點，正是由於嗅覺能力的這種下滑，我們對於氣味的「舊」回憶沒有被「新」的內容干擾，覆蓋，從而這部分回憶可以完整保存。
我想這可以在一部分上解釋這題很多答案和評論里的「嗅覺與記憶的關係很緊密」。
參考材料：記憶的風景 (豆瓣)
其實，真的可以回憶起來
為什麼不能？聞到熟悉的香味可以回憶一段往事，或者想起某件事而引發的自己想起當時的味道？
前段時間正好在思考這個問題，我覺得有可能是因為人類的思維里沒有「把氣味抽象化」的framework。比如一個視覺場景，我們會把它抽象成「明暗，顏色，輪廓，運動速度etc」，一個聽覺記憶可以抽象成「響度，頻率等等」。所以我們可以說一個蘋果是紅色圓形的靜物，火車汽笛是很響的尖利聲音。有了這樣的抽象化，即使你忘記了蘋果的具體樣子（甚至於根本沒見過蘋果）也能在腦海中對「蘋果」有個模糊概念。可是氣味呢？除了「香臭」我想不出把氣味抽象化的語言--而香臭除了表達好惡，根本毫無意義。比如廁所的氣味，如何描述呢？除了把「廁所的味道」替換為「像屎一樣」，沒有辦法再進一步抽象了。無法抽象就導致無法categorize到記憶里。
抽象化的概念讓我們的大腦可以構建事物，在虛擬的心靈空間里重構某些體驗。假設你夢見了「綠色的飛翔的貓」，你記住了這個場景並能「回憶」起來。其實這個「回憶」本身就是虛的，是你的大腦自己構建的，因為你不可能見過綠飛貓。有趣的是，當我一說綠飛貓，你腦海中就自動生成了這個綠飛貓的形象，因為「綠色」「離開地面懸浮」「fluffy的小動物」都是腦子裡預先抽象好的概念，相當於打包好的插件，直接拿來就可以用了，還可搭配使用。--因為你無法抽象氣味，所以我打賭，你的夢裡從來沒出現過某種氣味。
進一步說，為何無法抽象氣味呢？我認為是人類嗅覺受體有幾百種分別檢測不同的氣味分子（對比之下顏色只有三種錐狀細胞來探測），所以我們簡陋的大腦從來沒進化出一套機制來categorize這幾百種精細的氣味感受。你自己的個人體驗吧。我對氣味還是很有些記憶的。
我問一下，你確定你回憶不起
游泳池什麼味兒？
新汽車裡什麼味？
汽油什麼味兒？
這是個偽命題 嗅覺是可以回憶起來的。嗅覺是最直接通大腦的 不像視覺聽覺那樣要經過信號處理 所以不被意識捕捉。比如一個氣味曾經和一個快樂的氛圍場景對應給你留下深刻印象後，你再次聞到這氣味道時腦中不用回憶出當時場景也會馬上直接產生莫明快感，而且這種對應反應比畫面和聲音都更持久，幾十年後，你回憶當年的場景聽到當時的聲音，可能已經無法產生快感了，但只要聞到這個氣味，快感仍會立馬到來，而且
你只是不能再現，並不是不能回憶。
專業理論層面的我不懂，我就想說，自從第一次聞了藿香正氣水，在之後的兩年里，一提這個名兒我就能想起那個刺激的味道，然後開始想吐。。。
那是你，我們可以
小時候沒去過到處都是蒼蠅的低端廁所？一定是高大上出身，屌絲膜拜。
能回憶氣味呀。
我老家是東北的。
我能在任何時候回憶起丁香花的氣味。
可能眼睛、耳朵比鼻子更有優先權，更佔資源吧
因為你沒有建立某種聯繫
其實人體感覺器官中
視覺是最容易出現誤差的，記憶力也容易混淆，但是視覺可以和大腦產生很直觀的聯繫
其次是味覺，嘗到過一種味道，印象深刻，但是多了的話也容易混淆，這個與大腦聯繫居中
嗅覺是記憶最深刻的感覺！一種印象深刻的氣味，一輩子也忘不了，但是氣味在大腦內的聯繫不是很直接，所以想不起來，但是再一次聞到那個印象中的氣味，卻可以得到內心的絕對肯定
挺久之前 或者說 2年前
約了一炮
看見他的第一眼 天太黑 沒看清臉
下著小雨 他不是很高 沒打傘 雨淋過他 把一點點霧氣打散
我才看清了他
沒有看過他的照片 只知道他的wechat叫Sunshine
直到現在 他也一直沒有改過 也一直沒有對我開放過朋友圈
他穿著淡灰色的棉質短袖 和 深灰色的棉質長褲 被雨打過 身上留下了一個個暗色的小圓點
像是變成了一個灰色的海綿
我慢慢走近 有點羞澀的跟他打了個招呼 對視
在黑暗中 互相打量 他看過我的照片 沖我微笑
那夜無風 氤氳的雨季 讓氣味飄散的十分緩慢
不知不覺 我像是聞到了一種與眾不同的氣息 起初 我以為只是一種我沒聞過的香水
但 香氣似乎饒過鼻後 流轉於大腦之中
那一會 他恰巧搭上了我的肩 那味道像是後來的浪 層層疊高 又逃逸於咸濕的細雨中
我身子變得有點軟 走路有些輕浮
我猜不到這是什麼氣味
但我知道 我一定會記住這個氣味
留了一盞小檯燈
他的嘴裡還殘留著 剛吐掉的檸檬薄荷糖的味道 我猜是綠箭的
他的動作很輕柔 小心翼翼的試探
睡在粉灰相間的床單 即使很輕 也會在床單上留下一個 淡淡的印子
他躺在我的枕頭上 我枕在他的手臂上
平靜的呼吸
他的衣服 也是軟軟的 有著他身上每個人獨有的味道
但 那被覆蓋著 那不知如何形容的氣味 讓我真希望能有 香水 中男主角的能力
像是 檀木的沉厚 柑橘或是檸檬的自然清爽
每一次呼吸 都彷彿真真切切感受到了 生命的消耗
那股氣味 在每一次吐吶中 稍縱即逝 來去不留
我把頭埋的更深了些 希望能記住這個味道 或希望 能記住這個人
第一次 我彷彿要做一些不應是約炮範圍內的事
我能輕鬆想起 當晚的避孕套 是草莓水果味 抹上了 一些水性潤滑油
他每次吐氣 傳來綠箭檸檬薄荷糖的味道
皮膚的氣味
之後的幾天 我輾轉難寐 枕頭上 一直潛藏著那股不一樣的香味
夜晚 關了燈後
好像身在約炮的那晚 沒了雨
空氣還殘留著一點溫暖 香氣在叢中四處揮散
看不清的夜晚 彷彿他就在對面 我看不清臉 也記不住他的樣子
只是那道非比尋常的氣息 一直留有在柔軟的床單之上 深深的枕頭裡
我沒忍住 跟他說 那天 你身上 好香啊
他說 恩
香奈兒的男香
我把頭深深埋進枕頭裡 吸了一大口氣
我去了各大商場 把所有的香奈兒男香都試了一遍
可都沒有那種縈繞於腦海的 沉醉
遺憾的 不光如此
我更記不起他的樣子
不記得他的聲音 還有說話的語氣
我同學說 那三個月我的 好像喝了假酒一樣
毒醉了三個月
我問他 你在幹嘛呀
他說 我還沒打算找那種關係
我尷尬的 不知道說什麼
就好像 在那天夜裡 我醉入了他身上的香氣 對上了他的視線
卻在下一秒 沒了回聲 他轉身而去
雨就像被設定好的 咖啡豆一樣 把我失控的嗅覺還了回來
我尷尬的站在那裡
卻又在回味那一閃而過的氣味
一秒 消失在我的鼻腔 上一秒 鐫刻在我的腦海
三個月後 我看見挺早前 我把Sunshine寫在了便利貼上 貼在了書桌的的柜子上
我閉上眼不停的呼吸
極度想回憶起 三個月前的那個氣味
但我的房間 放了一瓶琥珀的香薰
每一次呼吸 都在篡改的我的記憶
最終 在三個月後的某一天 我確信 我可能再也找不回 那個氣味了
但如果 有生之年
有幸能再聞到
那不同於一般香水的氣味
那種永遠存在於記憶里 毫無蹤跡模樣 的一個特定的記憶
甚至都無法被定義為 一種嗅覺的記憶
但我把他 這個氣味
稱之為
Sunshine
「味道是最說不清楚的。味道不能寫只能聞，要你身臨其境去聞才能明了。味道甚至是難於記憶的，只有你又聞到它你才能記起它的全部情感和意蘊。」
--摘自史鐵生《我與地壇》你要是掉糞坑裡，保證一輩子都忘不了。
好奇怪的問題
為啥我腦子裡經常有各種氣味？
槐花的氣息，小葉白楊略帶苦味的清香，某君身上很淡的有點像一生之水但是不是的帶水汽也葉子的味道，愛馬仕尼羅河裡荷葉的味道，汽油和尾氣的味道，汗水的味道，鐵觀音有點像樹葉的茶香，黃瓜切片後的味道，看到這問題的時候一下子全湧現了。
還有桂花香，梔子花香，大片月季雨後的味道，有點澀卻衝撞的玫瑰味，大米飯的味道，香甜讓人有食慾，秋天花生葉子的味道，青色麥苗的味道，陽光曬過棉被的味道，江南街上初夏樹木（大概是香樟樹）的味道，松針松香的味道～油漆的味道，讓人頭疼的新車內部的味道（會不會是甲醛）有的化妝品裡面的味道感覺明顯含鉛……
推薦閱讀：