因为像徽派建筑、八闽建筑、岭南建筑等，多少都与祠堂有点类似，但其实祠堂建造并没有统一的规格，各地祠堂仅从外观上看，基本都融合了当地民居的特征，只不过因为南方祠堂数量较多，所以给人造成了祠堂起源于南方的假象。

实际上，不管是从祠堂祭祀文化，还是从祠堂的家族文化上来看，北方都是祠堂的发源地，且祠堂鼎盛时期，北方祠堂数量要多于南方。 首先说说祠堂的祭祀文化，印象中祠堂不但是家族议事的场所，像电视剧中所演的那样，祠堂正中摆放着大量牌位都是真实的，而祭祀文化起源于儒家中的孝道。

历史上儒家文化起源于鲁国，并逐步在中原地区发扬光大，而历史上的中原主要指今天的河南、山东、河北一带，故而完全有理由认为祠堂起源于北方。

再从家族文化上来看，祠堂最开始只有达官贵人才能建设，普通人根本没有实力，更没有权利去建设，后来随着逐渐解封，祠堂才在民间兴起，当时祠堂在不同地区，又可称之为家庙、宗祠、家祠等，从这几个称呼上就不难看出，祠堂不仅象征着一个家族的传承，更象征着家族荣誉、荣耀。

历史上，如果某个人因某件事触犯族规，被逐出宗族，那这个人在社会上很难立足，因为古代用人都讲究来源、出身，甚至一个人的出身都融合在姓氏中，比如公孙X、公子X、孟姜女等，所以古代家族出身往往能影响一生，而历史上很长一段时间里，大家族基本都集中在北方（中原），故而当时北方的祠堂数量也很多。

这种情况下大量汉人渡过长江（衣冠南渡），进入江浙、岭南一带，比如今天的客家人、广府人祖上基本都是中原汉人，而这些南下的汉人不仅带去了大量人口，也带去了祠堂文化，久而久之南方祠堂遍地生根，且为了不忘记中原祖先，南方祠堂也越来越多。更重要的是，到了近现代，北方祠堂、族谱还在“破四旧”运动中遭到了灭顶之遭，而南方祠堂则因为远离中心，得以大规模保留，这最终呈现的画面，南方祠堂规模、数量都高于北方。