《論衡》中引《圖宅書》說「商家門不宜南向，徵家門不宜北向」，其中的「徵家」是什麼意思？

蟹妖。

這句話本身並不出自《論衡》，而是漢代的宅基地選擇指南《圖宅術》。
該書已散佚，不復再查。

這裡的商家，也不是提問者原本以為的商人之戶，而是「宮商角徵羽」的「商」。
《白虎通德論·論姓》：
「古者聖人吹律定姓，以紀其族。人含五常而生。正聲有五，宮、商、角、徵、羽，轉而相雜，五五二十五，轉生四時異氣，殊音悉備，故姓有百也。」

其實只消看看」詰術篇第七十四「的前後文就能知道：

圖宅術曰「宅有八術，以六甲之名，數而第之，第定名立，宮商殊別。宅有五音，姓有五聲。宅不宜其姓，姓與宅相賊，則疾病死亡，犯罪遇禍。」
……
五音之家，用口調姓名及字，用姓定其名，用名正其字。口有張歙，聲有外內，以定五音宮商之實。
……
圖宅術曰：「商家門不宜南向，徵家門不宜北向。」則商金，南方火也；徵火，北方水也。水勝火，火賊金，五行之氣不相得，故五姓之宅，門有宜向。向得其宜，富貴吉昌；向失其宜，貧賤衰耗。夫門之與堂何以異？五姓之門，各有五姓之堂，所向無宜何？

另有記述的相關記載，有《無何集》中記述的」角家門不宜西向，宮家門不宜東向「。
五音對應五向，分別是角東、徵南、宮中、商西、羽北。因為宮音屬土，商音屬金，角音屬木，徵音屬火，羽音屬水。
我們常見的一張五行圖上就有標記：

這種五行八向是一脈相承下來的。
但其實這種方式早在千餘年前即被風水術士們淘汰了，蓋因各地方言方音差異過大，根本無法確鑿姓氏的五音歸屬。

估計「商」是什麼意思你也弄錯了。這裡的商和徵，是中國五聲音階「宮商角徵羽」中的兩個。

這五聲就是do、re、mi、sol、la，對應到字的聲調就是陽平、陰平、上、去、入。這裡，是把姓氏的發音歸納到五聲音階裡面了。意思是說「姓氏是商聲（陰平）的家門不宜向南……」

斜腰

這是一種由中國傳統樸素唯物思想（陰陽五行理論）衍生出來的迷信附會的文化現象。

題主引用的這句話，是講門向宜忌。其實還不止這些，《論衡·詰術篇》雲「《圖宅術》曰商家門不宜南向，徵家門不宜北向」；《無何集》雲「角家門不宜西向，宮家門不宜東向」。
這門向宜忌總得有說法，有實操步驟才行，對吧？就好比漢字千千萬，鍵盤上只有二十六個字母鍵，怎麼才能碼上屏呢，這就需要一套實操方法的指導，比如通過拼音，比如通過注音符號，比如通過（五筆、鄭碼）字根，比如通過電報碼。若沒有這樣個底層理論，也就不存在什麼輸入法，中國人按鍵盤就只能出來字母，休想按出漢字。

那麼我們看門向都有哪些呢？主要就四個，東南西北，朝上朝下大概很罕見，其餘所有方向都可以用坐標系將其標定到四方向上去，對吧（如南偏東十五度）？那麼，這就好操作了，這與五行剛好卯上了啊。
五行金木水火土，這是中國人樸素唯物觀的礎石。在古代中國人眼裡，世界有沒有神不知道，大概有吧，但祭神歸祭神，神之國外邊的事情歸人類歸天子，歸人了怎麼處理呢，就用五行思想來指導：萬物都由五行構成，依五行規律各自變化不斷循環。中國修道的人常說的仙人，就是「跳出三界外不在五行中」，他們是另一個坐標系裡的，跟人的世界不適用一套規矩。
五行對應四方是：東方青龍-木、西方白虎-金、南方朱雀-火、北方玄武-水、中央黃麟-土，啊哈其實是五方五色啊。然後為了與整個世界所有事物相配搭，五行又與五德/五常「仁義禮智信」一一對應，又與五臟「心肝脾肺腎」一一對應，又與……【見下表啦

…………第一次在知乎上表格也是第一次上圖，費老鼻子勁兒了，沒搞定表格只能截圖，見笑五行的性質和規律是什麼呢？最主要的是相生相剋：

五行相剋：金克木，木克土，土克水，水克火，火克金。

五行相生：金生水，水生木，木生火，火生土，土生金。

好，你現在仔細看錶，找到五音，在五音中找到「徵」，然後看它對應啥，對應火。再找五方里的北，看北對應啥，對應水，「水克火」，所以就「徵家門不宜北向」啦。這裡的徵是指這個姓氏，但不限於此，任何可以與「火」扯上關係的事兒都可以，如果徵字出現在名字里，一樣要避開北方，再比如在下是石油系統，石油屬火，所以也不宜北向。
不過呢，這套理論太繁複了，彼此衝突的地方很多。比如在下姓黃，黃屬土，木克土，所以我家門又「不宜東向」，然後非但姓黃的不宜東向，如果誰的工作是跟土有關係的，或者種棗的（笑），或者端午出生的，等等等等，都不宜東向。到底哪個因素更重要呢，這又另有一套講究。至於我為什麼笑呢，是因為說道太多了，實際上不可能都講究到。

就是這麼簡單。這套理論擴展附會能力非常強，幾乎什麼都可以給你繞進去。