日本國土面積並不是很大，為什麼還要劃分成那麼多的縣（都道府）？
原題目為「日本地方不大 可為什麼還取那麼多的縣？」
另附一些數據對比：〔國土面積 / 地區面積 (實際管轄區) 及其世界排名，總人口數及其世界排名和統計年份，人口密度及其世界排名和統計年份，一級行政區數目〕
- 中國（大陸）：9,634,057 km2 (3rd)，1,366,714,300 人 (1st, 2014.11.25)，141.86 人/km2 (81st, 2014.11.25)，33 個（省、自治區、直轄市、特別行政區，不含台灣省）
- 雲南省（中國大陸）：39 4000 km2，45,966,239 人 (2010)，112 人/km2 (2010)
- 海南島（中國大陸）：33,210 km2，8,671,518人 (2010)，261.1 人/km2 (2010)
- 台灣島（台灣地區）：36,192.8155 km2，23,433,753 人 (2010)，647.47 人/km2 (47th, 2010)，20 個（直轄市、台灣省轄下市、縣）
- 日本：377,873 km2 (63rd)，127,070,000 人 (10th, 2014.12.01)，336.27 人/km2 (37th, 2014.12.01)，47 個（都道府縣）
- 越南：331,689 km2 (67th)，88,780,000 人 (16th, 2012)，267.66 人/km2 (30th, 2012)，64 個（省、直轄市）
- 德國：357,022 km2 (64th)，81,751,602 人 (16th, 2011.01.01)，228.98 人/km2 (37th, 2011.01.01)，16 個（聯邦州）
- 英國（本土）：243,610 km2 (80th)，62,435,709 人 (22nd, 2011.01.01)，228.98 人/km2 (37th, 2011.01.01)，4 個（英格蘭、威爾士、蘇格蘭、北愛爾蘭）或 82+22+32+26=126 個（英格蘭郡、都會郡，威爾士主要地區，蘇格蘭統一管理區，北愛爾蘭區）
- 加拿大：9,984,670 km2 (2nd)，34,591,000 人 (35th, 2015.01.31)，3.46 人/km2 (37th, 2015.01.31)，13 個（省、地區）
- 印度：3,201,446 km2 (7th)，1,263,100,000 人 (2nd, 2014.11.25)，394.54 人/km2 (21st, 2014.11.25)，33 個（邦、中央直轄區、國家首都轄區）
數據來源：國家面積列表、國家人口列表、國家人口密度列表等。
提醒一點：從上往下看（從中央到地方），11區的縣和天朝的省都是一級行政區；從下往上看，天朝的省就不知高到哪裡去了。11區的最基層政權是市町村，之上就直接是縣了（雖然不同的市町村之間大小相差很大），總共就只有市町村-縣-中央三級。而天朝的最基層政權是鄉鎮，再往上是縣，理論上再往上是省，實際中除幾個直轄市外都會在省縣之間插一級地級行政區（地級市，自治州，盟什麼的），甚至還有自治州下轄地區的（伊犁州），於是就成了鄉鎮-縣-地市州-省自治區直轄市-中央共五級。按照天朝這套法子，11區完全可以在縣之上再加一級行政區劃，全國分成東北（含北海道）、關東、中部、近畿、中國、四國、九州（含琉球）共七個一級行政區。——中央下面就只有七個一級行政區，不覺得很浪費么？所以11區也沒再在縣上面疊床架屋了。
這個問題可以試著從人口和歷史兩個角度考慮。首先受到樓上諸位的啟發，2014.6.10參考 @楊愛紅 的回答對日本地方行政區劃等級的描述做了修正，在府縣數量變化部分有幸得到 @jyo gan 的指正，在此深表謝意。
一、人口題主強調日本國土面積小，卻沒有提及另一個事實：日本有1.2795億人口（2011年），即使是中國第一大省廣東也只有1.043億（2010年第六次全國人口普查），而且日本地狹人稠，人口密度高於中國，所以行政區劃劃得多一些也是可以理解的嘛。而且需要注意的是日本的縣和中國的縣是不一樣的，日本的縣（都、府、道）是直屬於中央政府的第一級行政區，我們習慣將其比作中國的省，但是仔細看一下中日兩國地方區劃，會發現一些問題。簡單粗暴一點來說，中國是省級、地級、縣級、鄉級的四級行政結構，日本是縣級、市町村級的兩級結構（這種說法不嚴密，中國的副省級城市、日本的政令指定都市什麼的沒有考慮進來，但是影響不大）。也就是說，日本的行政區劃比中國少兩級，日本的縣比中國的省等級要低很多。這種比喻肯定不夠恰當，但是夠直白——作為一個中國人，實在理解不了為什麼划了那麼多都道府縣，就想想人家日本相當於中國的一個特大號省划了好多地級市。中國的確是個龐然大物，隨便拿個省份，面積人口GDP什麼的，至少有一項數據能碾壓一大片國家= - =
而且如前所述，日本的縣面積往往不大，但管轄人口不少，一般不少於100萬，人口最少的鳥取縣也有60多萬，人口最多的東京都更是超過了1200萬。二、歷史傳統有人會問，雖說日本現行的行政區劃是有理的，那麼合併一下也不是不可以嘛。那就要換個角度，談談歷史傳統問題了。區劃合併從來不是「我看這兩個行政區的形狀不好看我就讓它們合體」那麼簡單。先舉幾個中國的例子，遠的我不敢說，就談談我現在所在的湖北省。（此部分內容絕無地圖炮傾向，求諸位輕黑，我可不想客死他鄉=。=）眾所周知，武漢是武昌、漢口、漢陽三座城市合併成的，作為一個外地人我對武漢三鎮之間的區別並不敏感，但是武漢土著不這麼想。我和武漢同學開玩笑說：「以後我要是在武漢安家的話住哪裡好啊。」他回答：「那看你喜歡什麼樣的生活，是書香門第型，繁華市井型，還是田園風光型。」他的三種類型分別對應的是武昌、漢口和漢陽。順帶一說，我這個武漢朋友是漢陽的。武漢東邊有兩座地級市，長江南邊是鄂州市，過個大橋就是黃岡市。我順嘴一說「為什麼不把這兩座城市合併」，有朋友很認真地反問我：「合併之後城市叫什麼？鄂州？黃岡？鄂黃？黃鄂？……」想想也真是，兩座城市各有輝煌歷史，現今又都有相當的經濟實力。襄陽和樊城合併叫襄樊，2010年又改成襄陽，之所以樊城能甘心當一個區，是因為從宋朝開始它就是襄陽的下屬地區。要是真把鄂州和黃岡合併了，那指不定出啥事呢。歷史傳統對政治的影響遠遠比我們想像中更大。中國是如此，看看日本也差不多。長久以來日本都不是統一的中央集權國家，中央政府只能控制京畿的一部分地區，政令下達地方上的「國」都是很困難的。這樣恩怨情仇打打殺殺了幾百年，到德川家康這日本算是實質上統一了，但是也沒有特彆強大的中央集權，地方還是有諸藩的。江戶幕府對大名恩威兼施，算是維持了二百來年的太平。但是到了19世紀中葉，搞倒幕運動的刺頭，就是長州、薩摩、土佐、肥前等幾個藩。明治維新了，中央政府當家做主了，於是跟強藩配合搞了個「版籍奉還」、「廢藩置縣」，建立起一套中央集權體制，274個藩就這樣消失了。1871年夏正式施行縣制時全國分為3府302縣，劃得這麼細主要是為了保留原有諸藩的區劃，但是這樣顯然太細碎。同年秋，明治政府就大刀闊斧合併成了3府72縣，注意這時候還沒有琉球。經過多次調整，最終在1889年確定為3府42縣，外加一個北海道。之後除了1943年改東京府為東京都之外，縣級行政區劃就沒有什麼大變動了。
如果諸位認為日本太墨守成規的話，不妨翻翻我們清朝時的地圖，關內十八省的區劃基本保存至今。行政區劃一百年不改也沒什麼，歷史傳統在那裡，改來改去又有一大堆政治、經濟、文化因素需要考量，太啰嗦。總結以上內（fei）容（hua）就是：①明治政府把274個藩整合成47個都道府縣，人家已經很努力了。②既然用了一百多年都沒有什麼大問題，就沒有必要改嘛。③反正日本人口密度大，多劃幾個縣也方便管理。現在的都道府縣劃分基本沿襲了舊令國的地理區域，基本上都是在以民俗舊習統一的原則上劃分的。但是你要說他不精簡還真不是，像飛驒和美濃組成岐阜，尾張三河組成愛知，其實本身差別還是蠻大的，但是還不是硬把合到一起了，真要說分開其實完全也沒問題啊。
題主的問題很棒，實際上這將很有可能是日本未來的發展趨勢。簡答一下。
日本的基層行政單位「市町村」在歷史上經歷了多次討論和合併，包括：
明治中期的明治大合併：
大正末年-昭和初年的合併二戰末期的合併五十年代的昭和大合併六十-七十年代的高度經濟成長期合併從大概九十年代末開始的平成大合併總務省的這個鏈接給出了歷史具體數據 http://www.soumu.go.jp/kouiki/kouiki.html
而這個概括圖則是平成時期的合併情況：
合併的目的主要是為了加強地方自治，給予基層行政單位包括稅收在內的更多資源和權力，加強自治體之間的聯繫，精簡官僚體系等等。。。
另外同一時期也增加了「政令指定都市」的數目（類似於直轄市），目前全國共有20個，但目前也有10多個城市爭取加入此行列，因為基本條件是只要合併後達到50萬人口就可以，所以目測政令市的數目應該會越來越多。
那麼回到題主的問題上來，一都一道二府四十三縣是否太多/有必要？
日本從昭和初年起就一直在討論道州制，最初的提案是把設置為六個州+一個廳：
仙台，東京，名古屋，大阪，廣島，福岡，北海道廳但是阻力一直非常大歷經多年討論，到了二十一世紀又提出三個方案，即把全國分為九，十一，十三個道。
人口密度高啊
國家劃分政治區一般是考慮人口、經濟、土地價值、地形來劃分的，而不是盡量把面積劃得相等
日本原來也只有七八個一級行政區好嘛。。。
明治之前都是「五畿七道」，都城附近5個國，可以理解為天子直轄？外邊七個道，東山道、東海道、北陸道、山陽道、山陰道、南海道、西海道，是仿唐制，偏遠地區劃分為道（在唐一開始「道」是作為戰區，比如什麼「遼東道行軍大總管」，後來變成常設區劃，再後來就出現了節度使這種東西= =）
當然以上都是名義上的行政區劃，實際上可能從來沒哪個長官真正管過一個道，都亂鬨哄的
1869年增設北海道，1889年，才廢除了除了北海道之外的其他7道，改縣為一級行政區考慮到日本那麼多人以及明治時期的信息傳遞水平，前面也有知友提到，日本一個縣和我們一個地級市（府）的人口水平差不多，那麼有那麼多縣也不足為奇了吧。越南全國58個省~~~~
之前我曾經說過東亞地區國家如果古代沒有強大的大一統專制政權和或近代遭到殖民或衝擊一般都會形成比較細碎的一級行政區。
日本古代歷史上從來沒有形成中國那種專制主義中央集權制度和大一統局面，幕府再強也是挾天子而令諸侯的諸侯頭領。
這導致中央無法控制基層，地方上先天性成了各個勢力統治的獨立王國，即便日後被中央控制，獨立勢力之間早已產生了經濟、文化和地緣上的區別，起碼最開始中央要尊重這種局面。
從另一個角度講，東亞後期國家再遭受殖民勢力衝擊時，內生的改革始終面臨中央集權以推行改革和現代化改革需要向地方放權讓利的矛盾。這就導致中央雖然集權，為了快速發展地方經濟並賦予地方活力，有不能劇烈改變地方上的行政區劃。
經歷二戰之後，行政區往往形成了一些約定俗成的規劃，比較難以修改。特別是民主制度被美國嫁接到日本本土以後。
不過日本本土政治勢力有不少派別一直推動進行「道州制」改革，計劃將全日本重新分為13或者10或9個州和道。但由於涉及太廣，改革複雜、牽扯利益太多、改地名花費巨大而屢屢在議會受挫。因為日本是個大中型國家中絕無僅有bt——超級中央政府
不存在地方政府，全國只有一個政府，就是中央政府。地方自治體的事權很少，所以也多啊少啊也就那麼回事
大部分的地方政務由中央省廳在大區、都道府縣、縣下的分區設置派出機構承擔
如果你只看「縣」這個字，實際上日本的縣不是太多了，而是太少了
或者說是日本的縣太大了實際上縣是日本的一級政區，相當於中國的省但是又由於日本本身面積只有一個中國幾個省的級別，那麼日本的縣大概像中國的地級單位吧。這話說的不對了，德川幕府倒台之前，全日本有六十六個國，六十六個啊。。。一國雖然不是那種傳統意義上的國家，但每一國也代表一個或幾個勢力的地盤。戰國時期全國大亂斗可以理解為地主兼并之類的。。。。幕府一統之後才回歸正常的體制。廢藩置縣之前還是這麼說的，上野國，相模國什麼的。。。。在下不才也混了個日向國守護。。。之後全盤西化才搞的縣。你可以把日本當成放大版的台灣。現在的縣很多是和古代藩國對應的，名字改了而已。比方說播磨現在叫兵庫縣。。兵庫北什麼的
中國的縣也不少啊。
日本的面積和人口相當於中國的普通省份的兩到三倍，也不是特別地小。明治初年日本進行近代化行政改革，廢藩置縣，將之前的各個小藩也變更為縣，日本的縣總數超過三百個，稱為三府（東京、大阪、京都）三百零二縣。這時的縣的大小和中國的是差不多的，縣的行政長官一度也不叫知事，而是一個中國人更加熟悉的名字：「縣令」。
後來進一步改革到了財政方面，為使每縣能成為一個擁有相對完整的行政財政功能的區域，將三百多個縣進行合併，大大減少數量，之後幾經微調，成為今天的樣子。【都道府縣其實規模等於中國的地級市】?日本的行政區劃我是很推崇的，還有韓國的也是?
日本韓國（台灣）法國義大利西班牙理論上都是一種。他們的一級行政區規模上（即面積和人口）都是相當於我們的【地級市】。
中國的地級市從一開始在憲法上沒有，到現在成為最穩固的一級，不是沒有道理的！
我認為日本都道府縣這種也就是地級市這種能極大的發揮一種地方的主觀能動性。讓偏遠的地區不至於發展的太差。
最後附上一個行政區劃對照表（有一些地方需要修改）
記得早以前看過一本關於日本地理的書，日本的國土面積放到歐洲可以排到前十。
我們換個角度來看問題，中國內地有31個省級行政區，一共有1800多個縣，平均下來每個省就60個縣，我們一個省縣的數目就是日本一國縣的數目，日本的縣還多嗎？還是吐槽一下中國的行政區劃吧，樓主說加拿大省級區劃少，可加拿大一共就3000萬人啊。中國的次國家級行政區不是太多，而是太少。內地13億人，一個省的人口均值就是4000多萬啊，比加拿大一國的人還多，日本1億多人，一個縣人口均值也就160萬，樓主可以看看中國內地人口最多的臨泉縣是多少人口：200多萬。省的規模太大就導致不好管理。我們國家行政體制被人詬病很多的就是層級多，中央-省-市-縣-鄉，5級啊，你以為大家看不到啊，可沒辦法，省太大了，省直管縣肯定管不過來，只好設一級市。而且省級行政區劃差別還不能太大，否則很容易發展不均衡。拆省得口號已經喊了很多年了，但是到現在也沒有拆過，這裡面的歷史文化政治考量實在太多，不到萬不得已實在是不敢拆，不敢變。80年代三峽省就是血淋淋的教訓啊。當然還有的國家行政區劃比我們更奇葩，樓主可以看看印度省級行政區劃的，看最大最小的差別有多大，再看看人口超過2億的超級省級行政區。日本這樣的行政區劃其實很合理，世界發達國家的次國家級行政區人口都在百萬人口級，就中國印度不行，這裡面當然有歷史原因，但是這帶來的行政冗腫也是不可避免的。
黑船事件後，日本幕府權威漸失，倒幕派推翻幕府統治，建立起天皇為真正國家代表的議會總理制國家(類似於一戰前的德國)。
為了剷除封建藩國勢力以加強中央集權，明知政府推行了廢藩置縣制度，最終形成了一都一道二府43縣的都道府縣一級行政區制度。
至於為了不少劃分點縣，主要是明治時期之前的日本是典型的封建制度國家，各藩國的人口大小都相對均衡，而短期內城市化進程無法飛躍以達到人口集中的目的，故只能設立43個縣以適於當時日本的地理人文社會情況。而對於議會制的日本而言，47個一級行政區雖然多了一點，但管理起來並不是太大問題，才延續至今。
然而，這幾十年日本的道州制改革頗受關注，根本原因就是日本的人文社會情況發生了巨大改變。
二戰後，日本經濟崛起帶來了城市化進程的快速提高，得益於此，日本的農業社會基本解體，人口大量湧入城市。而廣場協議後的日本經濟停滯不前，遍地開花式的小城市化也被迫向集約整合式的核心城市群模式發展，而東京都市圈就是其中的典型代表。
核心城市群模式導致了日本大批年輕人口湧入東京等核心城市工作甚至定居（日本沒有戶籍制度，可自由遷徙），極大地改變了日本各地區的人口分布和經濟發展狀態，這也使得適用於明治時期的都道府縣制越來越不合時宜，對道州制的討論也就再度成為了值得討論的話題。
隨著日本老齡化的加重和年輕人口大量集中於東京等大都市，普通地區縣的自我人口數量將有一個不斷減少的過程，而人口不足無法支撐一個獨立一級行政區將迫切日本推動行政區劃改革，只是並不是傳統的道州制罷了，畢竟那只是懷古者的情懷而已。
廣東面積18萬平方米 人口1億左右 江蘇10萬平方米 人口快8000萬 日本37萬平方米 人口1.2億多點貌似日本密度也不大，中國是佔了2/3的面積的西部人煙稀少
不是日本吃飽撐的，而是我們的國家真的幅員遼闊。日本西邊是中國，西北邊是俄羅斯，東邊是美利堅、加拿大，相形之下簡直是蕞爾小國。但正如題目附的數據，把他放到歐洲大陸上，論陸地面積毫無疑問的排前面的大國，何況日本領海還大些呢。之前呆過的一個國家，700多平方公里，開車上高速2小時繞國境一圈，也就我們國家一個縣那麼大，國家的轄區和首都的轄區不是重合就罷了，居然還分了幾個省出來……有的省下面直接就是town或者village了，這比日本違和多了。我覺得最違和的是「省」這個詞。
中華民國台灣省，民國現在只有有兩個省，五個直轄市啊，民國的福建省小到只有兩個縣。
所以你支持道州制的，對吧！
推薦閱讀：
※當代日本人對天皇什麼態度，還崇拜嗎？
※如何看待日本在特朗普勝出第二天通過TPP協定？
※日本二戰都能建造航母，為什麼現在中國都不能掌握建造航母的關鍵技術？
※日本女人改嫁的話要再改名字嗎？
※關西人在日本是怎樣一種存在？為什麼接觸過的日本人大多視關西人為異類？