他是优秀的政治家，他在明初政治改革方面主要做了以下几项工作。

中央集权

明初沿袭元朝制度，设立中书省，置左、右丞相。甲辰正月，初置左、右相国，其中李善长为右相国，徐达为左相国。洪武元年（1368年），改为左、右丞相。由中书省统六部，但不设置中书令。

洪武十三年（1380年），胡惟庸案之后，太祖罢中书省，分中书省之权归于六部[48]。原中书省官属尽革，惟存中书舍人。至此，秦、汉以降实行一千六百余年的宰相制度自此废除，相权与君权合而为一，施行军权、行政权、监察权三权分立的国家体制。

由于国家事务繁多，皇帝无法处理，洪武十五年九月罢四辅官，仿宋殿阁制设内阁。内阁只为皇帝的顾问，虽无宰相之名，但有宰相之实。此外他仍沿用元朝制度，在中央设置吏、户、礼、工、刑、兵六部。并设立都给事中六人，分吏、户、礼、工、刑、兵六科，每科一人；此外建立五寺包括大理寺、太常寺、光禄寺、太仆寺、鸿胪寺等五寺制度。此外他还沿袭元的监察制度，设立御史台，有左右御史大夫各一名；不久改为都察院，下设若干监察御史，负责监督各级官吏。除此他还颁布《大明律》等，对官吏管理进行规制。

为了加强对臣民的控制和监视，太祖设置了巡检司和锦衣卫。巡检司主要是负责全国各地的关津要冲的把关盘查，缉捕盗贼，盘诘伪奸；锦衣卫则负责秘密侦察大小官吏活动，随时向皇帝报告不公不法之徒。同时太祖还授予锦衣卫侦察、缉捕、审判、处罚罪犯等一切大权，锦衣卫正式成为直属皇帝的情报机构。

镇压贪官

朱元璋出身贫寒，对政治贪污尤其憎恶，其对贪污腐败官员处以极严厉的处罚。他在政期间，大批不法贪官被处死，包括开国将领朱亮祖，女婿驸马都尉欧阳伦，其中甚至因为郭桓案、空印案杀死数万名官员。由于太祖的吏治严厉，在明初相当长一段时间，官员腐败的情况得到有效遏制。然而，随着大明江山逐步稳定，再加上军事和皇室贵族战功大，享有很高的社会特权，不少人迅速腐化变质。朱元璋开展雷厉风行的肃贪运动，历时之久、措施之严、手段之狠、刑罚之酷、杀人之多，为几千年历史所罕见。尽管朱元璋反贪决心大、力度猛、出奇招，使腐败现象得到一定程度的遏制。

诛戮权臣

朱元璋性格多疑，对功臣有所猜忌，恐其居功枉法，图谋不轨。这些特权阶级杀人伤人、霸占土地、逃税漏税、恃强凌弱、奸淫妇女、吃喝嫖赌、贪污纳贿，甚至造刀枪、穿龙袍的都有。面对这种对王朝的长治久安构成严重威胁局面，太祖把这些特权阶级无情地清洗。廖永忠和 朱亮祖 先后死于非命。

随后太祖以擅权枉法之罪名杀胡惟庸，又杀御史大夫陈宁、御史中丞涂节等人。之后李善长亦被牵连，家属七十余人被杀，总计株连者达三万余人。此后的蓝玉案中，连坐被族诛的有一万五千余人。但纪非录所记载太祖的儿子诸藩王犯有很多暴行，太祖则只是轻微劝戒了事。太祖还通过设立锦衣卫（洪武二十年废除）、诏狱、廷杖等机构或制度，打击功臣、特务监视等一系列方式加强皇权控制。

分封藩王

太祖遵古制，王命法：三十受兵、六十归兵。国有三军，所以诫非常，伐无道，尊宗庙，重社稷，安不忘危。太祖令诸藩镇守天下，又各领兵权，这固然是亲亲之情，信任无以复加，却也未必就没有帝王心术。强藩林立，能做皇帝的却始终只有一个，诸藩势力犬牙交错，必然相互牵制，相互监视，除非朝廷中枢衰弱之极。当中枢真的衰弱至极时，就算没有藩王，也会被权臣取而代之。自三皇五帝，以一介布衣而成天子者，唯汉高祖与太祖，其他帝王，大都是前朝重臣或一方豪强而黄袍加身。所以由自己子孙取代无能之君，也胜过将江山付与外人之手，如此可保朱家数百年江山。

颁布法律

建国伊始，太祖就在《大明律令》的基础上制订颁行《大明律》，紧接着又亲自编定《明大诰》。1397年，太祖下诏正式颁布了《大明律》。《大明律》一共四百六十卷，分吏、户、礼、刑、兵、工六律，简于《唐律》，严于《宋律》。《大明律》规定：「谋反」、「谋大逆」者，不管主犯还是从犯，一律凌迟，祖父，父、子、孙、兄、弟以及同居的人，只要是年满十六岁的都要处决。朱元璋立法一为治民，二为治吏，尤其是《明大诰》对贪官污吏的处决也十分严厉，可以视为反贪刑事特别法。只要是犯有贪污的官吏，一经查实，一律发配北方荒漠中充军，赃至六十两以上者枭首示众，仍剥皮实草。