卢梭：“人是生而自由的，但却无往不在枷锁之中。自以为是其他一切主人的人，反而比其他一切更是奴隶”。 “即使最强者也决不会强得永远做主人，除非他把自己的强力转化为权利，把服从转化为义务。”“强力并不构成权利，而人们只是对合法的权力才有服从的义务。”
政治合法性涉及政治学的一个最古老也是最基本的问题，即，如何使政治统治取信于民？中国古代典籍《左传》中就说：“国之大事，在祀与戎。”这里的“祀”即祭祀天神，“戎”即武力或军队。掌握有组织的暴力，抵御外来侵略，维持国内治安，是政权得以存在、统治得以施行的现实手段。而祀天拜祖，神道设教，则为政权提供了一种不可缺少的合法性基础。这就说明古代社会的人们就已经懂得了政治合法性（所谓“正统”）对于国家统治的重要性 。
在现代以前，为政权提供合法性依据的意识形态主要来自各种形式的“天命论”和“君权神授论”。“天命论”的理论既为中国王朝的建立提供了合法性基础，但也为推翻一个王朝提供了合法性依据。因为君主可以打着“授命于天”的旗号实施所谓“正统”的统治，而“乱党”和“暴民”也可以以“替天行道”、“受命改制”的名义推翻王朝的统治。社会的动荡就成为“改天换地”的必要成本。中国历史发展之所以没能走出王朝循环更替的怪圈，恐怕原因就在于它始终没有形成关于合法性的新理论。
在中世纪的西方，也盛行类似于“天命论”的“君权神授论”，它曾经为罗马天主教会在欧洲的统治提供了合法性基础。不过，正如“天命论”一样，“君权神授”的学说也为不同的解释和利用留下了空间。它不仅为不同教派争夺权力提供了可能，而且为各国君主反对罗马教会（即王权与教权的斗争）以及各国君主之间的权力斗争留下了余地。从某种意义上说，“君权神授”理论的模糊性和随意解释性也是欧洲中世纪成为野蛮的“黑暗时代”的部分原因。
随着人本主义观念的兴起，各种“天命论”和“君权神授论”失去了市场，因而也就失去了作为合法性基础的作用。在西方，取代“天命论”和“君权神授论”的是新的“社会契约论”和民主宪政的理论。政治权力来自社会契约，政治统治的合法性基础来自被统治者的“认同”（consent）。社会成员定期选举统治者，谁赢得选举，谁就可以合法地成为“统治者”。在市场经济的基础上，政治统治和被统治的关系更被归结为一种世俗的交易关系：纳税人出钱养活政府，政府则为纳税人提供公共安全和社会福利；“消费者是上帝”，谁能提供更好的公共服务，谁就有资格组建政府。在现代政治生活中，人们把主权和治权分开，使主权属于人民，将治权委托给政府，并用定期选举领导人的宪政程序来代替不可预测的改朝换代，从而消除了由于“天命”和“神授”观念的随意解释性而导致的以“天意”为借口而发动战争的可能性，结束了以暴力为基础的王朝循环过程，实现了社会稳定与创新的动态平衡。
纵观历史发展，社会契约论可以说是从理论上系统探讨政治合法性问题的开始。社会契约论者在考察公民是否具有尊重国家并服从国家法律的时候，他们探讨的就是合法性问题。英国早期思想家霍布斯（Thomas Hobbes,1588-1679）和洛克（John Loche,1632-1704）都讨论过这样的问题：什么时候和在什么基础上，政府就可以对社会合法地实施其权威？卢梭（Jean-Jacques Rousseau, 1712-78）更明确指出，“即使是最强者也决不会强得永远做主人，除非他把自己的强力转化为权利，把服从转化为义务”，强力并不构成权利，而人们只有对合法的权力才有服从的义务。
把合法性作为一种社会学现象来加以研究的首推马克斯·韦伯（Max Weber, 1864-1920）。他划分了三种类型的政治合法性基础：传统权威模式（traditional authority），个人魅力权威模式（charismatic authority）和法理权威模式（Legal-rational authority）。根据韦伯的观点，现代社会主要以法理型权威为特点，其合法性基础来自于人们对正式的合理合法的制度的尊重。
新马克思主义（Neo-Marxism）理论家进一步发展了韦伯的思想，他们关注的问题是，现代资本主义社会为什么没有发生像马克思所预言的社会革命？他们的研究结论是，资本主义社会形成了一种机制，通过扩大民主和社会改革，形成了“同意”（consent）或社会公认的原则，从而抑制了阶级对抗。例如，意大利共产党人葛兰西（Antonio Gramsci, 1891-1937）就曾经认为，资本主义国家=暴力+文化领导权。“文化领导权”（hegemony）消解了革命意识 。