293年，罗马帝国皇帝戴克里先采行四帝共治制，将帝国分为东西两半，此后帝国分分合合，直至395年，狄奥多西一世将帝国分给两位儿子，从此分裂为西罗马帝国和东罗马帝国。西罗马帝国的首都在拉文纳，东罗马帝国的首都在君士坦丁堡。
但耐人寻味的是，东、西罗马帝国彼此并非敌对关系，反而在很多方面密切合作，同声共气。此后几十年间，罗马城多次被西哥特王国的亚拉里克一世和汪达尔人攻占和血洗，西罗马帝国的实力和威严一落千丈。
476年，西罗马帝国彻底解体，末任罗马皇帝自己发出退位诏，宣布西罗马帝国不复存在，帝国的所有殖民地均可自行独立。
东罗马帝国却得以保留，即后来史称的“拜占庭帝国”。 西罗马帝国虽然于476年瓦解，其皇帝被西哥特人废黜。然而罗马人在巴黎地区的统治一直持续到486年。那一年日耳曼民族的一支法兰克人的某部首领克洛维彻底打败了罗马人，建立了法兰克王国墨洛温王朝。
其后法兰克王国不断发展壮大，在加洛林王朝的查理大帝的统治之下王国达到鼎盛，征服国土范围到今法国、德国、荷兰、瑞士、北意大利、波希米亚、奥地利西部、伊比利亚半岛东北角的领土。
800年，查理曼在罗马礼拜时被教皇加冕为“罗马人的皇帝”，整个法兰克王国也被称为查理曼帝国。800年的圣诞节，查理大帝被教皇利奥三世加冕为罗马人的皇帝。西罗马帝国就此以皇位转移至法兰克国王的形式复辟。
查理曼帝国至少在理论上奠定了后世神圣罗马帝国的基础，直到1806年神圣罗马帝国被取消为止。教宗利奥三世认为800年查理曼大帝的加冕标志着神圣罗马帝国的开端，然而大多数人还是认为那时的帝国应该叫做法兰克帝国。
840年，查理曼之子路易一世去世，他的帝国也随之分崩离析。
843年，路易一世的三个儿子订立凡尔登条约，分全国为三部分。其中查理大帝的长孙洛塔尔（795年—855年）承袭皇帝称号，并领有自莱茵河下游以南、经罗纳河流域，至今意大利中部地区的疆域，称为中法兰克王国。而他的弟弟路易（804年—876年），被称为日耳曼人路易，分得莱茵河以东地区，称为东法兰克王国。另一个弟弟秃头查理则领有除此之外的西部地区，称为西法兰克王国。 查理曼死后，西罗马帝国皇帝这个头衔，始终由东法兰克王国和西法兰克王国的加洛林君主轮流拥有。加洛林王朝的皇冠最初在西法兰克和东法兰克之间争夺不休，先是作为战利品先后落到西边秃头查理和东边胖子查理。
然而888年胖子查理死后，加洛林帝国分裂了，此后未恢复。根据Regino of Prüm的说法，帝国的每一部分从自己内部选出了一位“小王”（kinglet）。然而，胖子查理于887年被废黜之后，加洛林帝国自此瓦解，再也没有统一。
自胖子查理之后，罗马帝国皇帝的头衔拥有者大多是由教宗加冕的意大利国王。意大利国王的实际统治范围极其有限，仅限于意大利东北部，而那些国王几乎是清一色的意大利本土贵族，最后一位这样的皇帝是死于924年的意大利的贝伦加尔一世。 大约在900年，东法兰克王国地方势力崛起，形成了分别以四大日耳曼部落为母体的四大公国，它们是：萨克森（萨克森人）、法兰克尼亚（老法兰克人）、士瓦本（阿勒曼尼人）和巴伐利亚（巴伐利亚人）。
当加洛林家族的最后一位国王孩童路易于911年去世后，东法兰克贵族没有选择西法兰克王国的加洛林家族的成员作为路易的继任者，而是选举法兰克尼亚公爵康拉德（Conrad of Franconia）为新一任国王。康拉德临终之时，指定宿敌萨克森公爵亨利一世 （德意志）为继任者。
919年，萨克森公爵亨利在众多东法兰克王国的公爵当中，被推举为东法兰克王国国王。亨利去世后其子奥托继位为东法兰克国王。
亨利死于936年，但他的后代——奥托家族的国王们继续统治了东法兰克王国一个世纪左右。亨利指定的继承人奥托一世于936年在亚琛被选为国王。他平定了一系列由其长兄和一些公爵发动的叛乱。在那之后，国王成功地掌握了公爵的任免权，并常常任命主教来管理行政事务。
在951年，奥托一世帮助阿德莱德（Adelaide），一位意大利的寡妇王后击败了她的敌人。他接着娶了她并控制了意大利。
在955年，奥托一世在对阵马札尔人的列希菲德战役中赢得了一场决定性的胜利。
962年，东法兰克国王、奥托王朝的奥托一世在罗马由教皇约翰十二世加冕称帝，到973年在位，成为罗马的监护人与皇帝和罗马天主教世界的最高统治者。
从那时起，日耳曼王国的事务就与意大利和罗马教廷的事务缠绕在一起了。奥托的加冕仪式使日耳曼国王们成为了查理曼帝国的继承人，并通过帝国继承原则也使他们成为古罗马的继承人。
王国没有固定的首都，而且国王不断往返与各个住处之间来处理政务（被称为Kaiserpfalz）。然而每位国王都有偏爱的地点，对奥托一世来说是马格德堡。王位继续以选举的形式传递着，不过在国王们死亡前，他们的子嗣常常被选为下一任国王，这就使他们的家族长期保有王位成为了可能。这一特点一直持续到12世纪萨利安王朝结束。
这也重新引发了与君士坦丁堡的东罗马帝国皇帝的冲突，尤其是在奥托一世的儿子奥托二世自称为罗马人的皇帝之后。尽管如此，奥托仍然以迎娶拜占庭公主提奥法努（Theophanu）的方式保持了与东罗马帝国的联姻关系。他们的儿子奥托三世把注意力放在了意大利和罗马教廷上，并开展了广泛的外交，但是他却于1002年英年早逝。
继位的是他的表亲亨利二世，他则专注于德意志内部事务。 1024年，罗马帝国奥托王朝的皇帝亨利二世去世后无嗣，来自法兰克尼亚的康拉德二世当选为东法兰克国王，并于1027年加冕为罗马帝国皇帝。
王朝统治期间，与教皇之间发生了激烈的叙任权斗争。值得注意的是，这段期间，“罗马人的国王”（拉丁语：Rex Romanorum）取代了（东）法兰克国王（或者单纯的“国王”），首次成为未加冕的皇帝当选者的称号：这是年值冲龄（“冲龄”。幼年。） 登基为王的亨利四世对教皇额我略七世的回应，后者企图通过称呼幼王为“德意志人的国王”或“条顿人的国王”（拉丁语：Rex Teutonicorum）来否定未加冕为皇帝的国王统治的罗马性与普世性，以此确立教廷对帝国的优越性。
1125年末代君主亨利五世去世，没有子嗣，王朝终结。 国王们常常雇佣主教管理行政事务并决定进入教会任职的人选。在克吕尼运动（Cluniac Reforms）初期，罗马教廷愈发认为此种越权行为不妥当。很关心克吕尼改革的教皇格列高利七世决心反对此类行为，于是引发了与国王亨利四世的主教叙任权之争，后者反对教皇的干涉并劝说主教们废黜了教皇。教皇反过来也开除了国王的教籍，宣布废黜国王并解除了亨利的忠诚宣誓。
国王发现自己在政治上孤立无援，只好强迫自己于1077年进行了著名的卡诺莎之行，并以背负耻辱的代价使自己恢复了教籍。与此同时，德意志的公国们已经选出了另一位国王：斯瓦比亚的鲁道夫（Rudolf of Swabia）。亨利成功地击败了他，但最后又遭遇了更多的起义、重新被开除教籍，甚至是他自己儿子发动的叛乱等劫难。
他的次子亨利五世于1122年成功地与教皇和主教们达成了沃尔姆斯宗教协定。帝国的政治权力被保留了，但这次冲突显示了所有统治者的权力都有限制，尤其是有关教会的，并取消了国王此前享有的圣人身份。教皇和公国们自此在帝国的政治体系中占据了同等重要的位置。 法兰克尼亚王朝结束于1125年亨利五世的死亡，公国们并没有选出国王的血亲当国王，而是选择了洛泰尔二世，一位影响力颇大的老萨克森公爵。当他在1138年去世时，公国们再一次把选择继任的目光放在了更有影响力的家族上。因此他们并没有选择洛泰尔偏爱的继承人：他的女婿韦尔夫家族的“骄傲者”亨利，而选择了霍亨斯陶芬家族的康拉德三世，一位萨利安家族的近亲。此事引发了两家族长达一个多世纪的冲突。康拉德剥夺了韦尔夫家族的财产，不过在1152年他死后，他的侄子“红胡子”腓特烈一世继位并与韦尔夫家族握手言和，返还了他的表亲“狮子”亨利（Henry the Lion）的财产，虽然数量已少于往日。
霍亨斯陶芬家族的统治者们越来越多地把土地借给家臣（ministerialia），腓特烈希望他们会比公爵们更可靠。这一新兴阶级最初是主要服务于战争的，他们后世骑士阶级的前身，也是帝国权力的根基。霍亨斯陶芬王朝时期帝国的另一本质性变化是在隆卡格里亚建立的整个帝国的新秩序。此举一方面是要废除众多公爵的私人封地，另一方面也试图将皇帝的臣子们归于同一个合法的司法和公诉体系之下，这正是现代“法制”理念的前身。另一个崭新的理念是新式城市体系的建立——由皇帝和本地公爵共同完成。这一理念的形成一部分是由于人口剧增，同时也是为了将经济发展重心放在重点地区，在以前城市只形成于古罗马的地基或主教辖区之上。包括弗莱堡在内的一些城市建立于12世纪，一定程度上成为了很多后世城市的经济发展模板，如慕尼黑。
腓特烈于1155年被加冕为皇帝，他强调了帝国的“罗马性”（Romanness），部分上是为了证明皇权（已被加强）独立于教权的合法性。1158年在隆卡格里亚举行的帝国大会根据东罗马帝国的《民法大全》再次声明了皇帝的各项权利。皇权自主教叙任权之争以来一直被当作与王权同等来看待，不过在隆卡格里亚首次被枚举罗列出来。这一广泛的权力范围包括筑路、制定关税、铸币、惩罚性收费和公职人员的任免。这些权力可以明确地在罗马法律中找到根源。此举意义深远。
腓特烈的政策主要针对意大利，他在北意大利与一些日益富裕和独立的城市发生了冲突，尤其是米兰。他也由于支持一位少数派候选人反对教皇亚历山大三世而卷入了与罗马教廷的冲突。腓特烈在1177年与教皇握手言和之前，支持了一系列伪教皇。在德意志，皇帝多次在公国和城市等竞争对手面前保护狮子亨利（尤其是慕尼黑和吕贝克）。不过亨利对腓特烈政策的支持并不太强，在意大利战争进入到危机时刻时，亨利拒绝了皇帝的军事支援请求。当腓特烈回到德意志时，愤怒的他对亨利公爵提起了诉讼，使亨利的土地全部被没收。
在霍亨斯陶芬王朝期间，德意志的公国们靠着帝国西部巧舌如簧的农民、商人和工匠（包括基督徒和犹太人），成功地、和平地推动了向东方土地定居的进程，此前由西斯拉夫人定居或无人定居。这些土地逐渐的日耳曼化，是一种复杂的现象，这种现象在19世纪种族偏见出现之前并不能被合理地解释。凭借定居地的东扩，也由于本地斯拉夫统治者与日耳曼人的通婚，帝国的影响力不断上升，最终到达了波美拉尼亚和西里西亚。同时，条顿骑士团在1226年被马佐夫舍的康拉德公爵（Duke Konrad of Masovia）邀请到普鲁士来促使普鲁士人的基督教化。然而条顿骑士团国和他的日耳曼继承者普鲁士王国从来就不是神圣罗马帝国的一部分。
在1190年红胡子腓特烈参加了第三次十字军东征并死于小亚细亚。他的儿子和继承人，亨利六世统治期间，霍亨斯陶芬王朝达到了巅峰。亨利将诺曼人的西西里王国纳入自己的统治范围，俘虏了英格兰国王狮心理查并在1197年去世前试图建立君主世袭制。他的儿子腓特烈二世虽然已经被选为国王，但只是一个生活在西西里的小孩子，德意志诸公国决定选择一位成年国王，出现“红胡子”腓特烈的幼子斯瓦比亚的菲利普（Philip of Swabia）和狮子亨利的儿子不伦瑞克的奥托（Otto of Brunswick）两位人选竞争王位的局面。1208年，菲利普在一场争吵中被谋杀，奥托赢得了短暂的胜利（注：奥托四世在位期间为韦尔夫王朝），直到他也开始宣称西西里的王位。教皇英诺森三世惧怕帝国和西西里的威胁，于是支持西西里的国王腓特烈二世（注：即前文中亨利六世之子）进军德意志并击败了奥托。虽然他出征德意志之前将西西里王位传给了他的儿子亨利，但在他胜利之后，腓特烈并没有履行他保持两个国家分离的诺言，仍旧保留自己对西西里的实际控制权。这一局面一直持续到1220年腓特烈加冕为皇帝。教皇惧怕腓特烈集中的大权，最终对他施以绝罚。另一方面，腓特烈曾承诺发动十字军东征，但却一再推迟。他虽被开除教籍，腓特烈还是在1228年领导了十字军东征，这次东征结束于一系列谈判并使耶路撒冷王国（Kingdom of Jerusalem）短暂复国。皇帝与教皇的冲突日益加剧，最终在教皇的支持下德意志诸国选出了一位新国王（注：即腓特烈二世）。
帝国中唯一一个王国——波希米亚王国是一个重要的区域势力。1212年，皇帝腓特烈二世颁布西西里金玺诏书，承认了国王普热米斯尔·奥托卡一世（自1198年开始使用国王头衔）及其后代的王室头衔，并将波西米亚公国晋升为王国。捷克国王从此被豁免了除参与帝国会议之外的所有义务。
除了他的帝国要求之外，腓特烈的统治期是帝国中央集权瓦解的转折点。当他专注于将西西里建立成一个现代的中央集权国家时，他大部分时间都不在德意志并给予了德意志的公国和主教国们广泛的特权：在1220年的《神圣诸侯契约》（Confoederatio cum principibus ecclesiasticis）中，腓特烈下放了很多权力给主教，如制定关税、铸币和设防。在1232年的《世俗诸候法案》（Statutum in favorem principum）中又将大部分上述特权分给了世俗地区。虽然事先这些特权很多都已经存在了，但现在它们被广泛而一次性地授予。腓特烈希望能以此在他专注于意大利事务期间，德意志的公国们能帮他维持好阿尔卑斯山（Alps）以北的秩序。1232年的《世俗诸候法案》中首次将德意志的公爵们称为domini terræ，即他们领地的主人，这也是政治术语一次非凡的进步。 对于当时的德意志贵族而言，哈布斯堡的鲁道夫可谓理想的傀儡：空有辉煌的家世（腓特烈二世的教子、霍亨施陶芬家族的母系血脉），却年老（即位时55岁）力弱（当时哈布斯堡家族只在上勃艮第有零散的领地）。然而他们都低估了这位伏枥老骥的雄才大略：1276年，鲁道夫一世以违反小特权为由，向擅自吞并巴本堡领地的波希米亚国王奥托卡二世宣战，最终在两年后于杜恩克鲁特战役击杀对手，成功将地域广大的奥地利变成哈布斯堡家族的世袭领土，从而一跃成为与波希米亚不分伯仲的德意志强藩。此后，帝国皇冠就几乎一直在波希米亚国王（主要出身卢森堡家族）和奥地利大公（哈布斯堡家族）手中流转，直到哈布斯堡家族出身的波希米亚与匈牙利国王斐迪南一世，从兄长皇帝兼奥地利大公卡尔五世手中接过帝国皇冠和奥地利大公国。兼任了奥地利大公和波希米亚国王的奥地利哈布斯堡家族及其分支哈布斯堡-洛林家族，则一直垄断皇位直至帝国覆亡。
然而这个时期即便是皇帝已经拥有了（相对于其他诸侯的）强大实力和广大的世袭领地，神圣罗马帝国的集权化道路依旧是举步维艰：鲁道夫一世将奥地利纳入家族领地的行径遭到了封建贵族的一致反感，以至于其驾崩之后，当选为罗马帝国皇帝的不是哈布斯堡的阿尔布雷希特，而是拿骚的阿道夫；控制了波希米亚、上萨克森、勃兰登堡等广大领土的卡尔四世所能做到的，只是颁布金玺诏书，确认诸侯的特权，以防止对立皇帝的出现和内战的爆发。马克西米利安一世的帝国改革可谓走得最远，但也仅仅是通过帝国议会与封建军制的改革、帝国统治院和帝国管区的设立，以产生一个由贵族所治，为贵族所服中央政府。而这个脆弱的中央政府在后来的宗教改革中被搅的支离破碎。至于世界霸主卡尔五世，这个因为西班牙和勃艮第文化背景而始终得不到德意志贵族拥戴的虔诚天主教徒，最终深陷宗教纷争的泥潭，黯然让位于其胞弟费迪南一世。 13世纪同样见证了土地管理方式向中世纪晚期过渡的整体性变化，以损失贵族封建制度为代价，为政治权力转移到冉冉升起的资产阶级手中做了准备。金钱除了用于支付人头税以外，开始更多地代表农业的经济价值。农民更多地开始被要求上交土地税。“所有权”的概念开始代替古代的管辖权模式，尽管它们仍然联系得很紧密。在帝国辖区，权力联系得更紧密：无论是谁拥有了土地的管辖权，其他的权力也就应运而生。然而很重要的一点是，这一时期的管辖权并不包括司法权，事实上后者直到世纪才真正出现。法庭审判很大程度上依赖于传统和惯例。
在这一时期，帝国所辖各区域开始转型为现代国家的前身。这一进程随着地域的不同区别很大，发展最快的地区很大程度上与古代日耳曼部落的区域重合。值得注意的是，这个时期帝国开始与德意志民族国家和日耳曼地域国家产生等价关系：腓特烈三世首次在国号上加上“德意志民族/日耳曼民族的”（Deutscher Nation/Nationis Germanicæ）的修饰语，马克西米利安一世则在首次在礼仪头衔中加上“日耳曼尼亚国王”（Germaniae Rex），而传统上表达对日耳曼尼亚治权的头衔是责实不明的“罗马人民的国王”（Romanorum Rex）。
而因资本主义发展而富庶的北意大利城邦，如威尼斯、佛罗伦斯、比萨等等，持续地吸引着皇帝的注意和精力，使帝国对日耳曼与意大利其他地区的专注也减弱。
此外，帝国欠缺公认的王室继承法，因此一旦皇帝去世，往往造成各选帝侯继任皇帝的纷争，因而导致帝国的内战和陷入无政府状态。继位皇帝必须以武力战胜其他不支持的诸侯，或者必须想办法赢得多数诸侯的拥戴，才能维系皇帝的权威；在这种情况之下，神圣罗马帝国虽然有各成员国集结成一个核心“国家”之名，实际上却逐渐演变成为一个松散的“邦联组织”。 1789年，法国大革命爆发。神圣罗马皇帝利奥波德二世的妹夫，法王路易十六被推翻。而他的妹妹，法国王后玛丽·安托瓦内特被法国共和政府处决，再加上“公平、自由、博爱”思潮的扩散，利奥波德二世极力联合欧洲各国君主，以武力保卫法国的君主制。1792年利奥波德二世正式与普鲁士缔结同盟，准备以武力干涉法国。但他却在这时暴毙。不过他的儿子，神圣罗马皇帝弗朗茨二世继续了他的政策，更于次年与普鲁士、萨丁尼亚、英国、荷兰和西班牙组成第一次反法同盟。但这个联盟在1797年，因联军被拿破仑所率领的法国意大利方面军打败，被迫议和而土崩瓦解。
1799年，欧洲列强趁法军猛将拿破仑的军队被困埃及的契机，再次发起反法战争。这次帝国联同英国、土耳其、俄罗斯组成了第二次反法同盟。但同年底拿破仑只身返国，发动雾月政变并取得法国军政大权，成为法国第一执政。此后拿破仑亲自指挥意大利方面军，回头对付反法各国，于1800年打败联军，帝国不得不与拿破仑议和，解散反法同盟。而拿破仑在政变结束后三周发表的公告中，宣布“大革命已经结束”，令欧洲列强稍微安心，再加上他们的实力受损，因而暂时放弃反法的行动。但拿破仑的野心令欧洲在几年后再起干戈。
1804年5月18日，拿破仑称帝。神圣罗马皇帝弗朗茨二世见到法国大革命和拿破仑的崛起加剧了德国诸城邦的分化，担心法国再次扩张，与神圣罗马帝国抗衡。因此，他决定纠合英国，俄国，瑞典和那不勒斯，组成第三次反法同盟。1805年，帝国在俄军支援下入侵法帝国盟国巴伐利亚。而那不勒斯则和帝国军一道进攻拿破仑在意大利的盟国。不过拿破仑迅速做出反应，自本土挥军渡过莱茵河。12月2日，法、俄、神圣罗马三国皇军，在奥斯特利茨了一场“三皇会战”。拿破仑最后不但守住巴伐利亚，更攻入哈布斯堡领地摩拉维亚，更将帝国军赶出意大利，并在普鲁士境内打败俄援军。
12月16日，法国和帝国最终签订《普雷斯堡和约》。和约签订后，拿破仑决定成立以自己为护国公的莱茵邦联，以整固自己在德意志地区的盟友。1806年7月12日，在拿破仑的威逼利诱下，16个神圣罗马帝国的成员邦签订了《莱茵邦联条约》（Rheinbundakte），脱离帝国，加入邦联。此举严重削弱奥地利在德意志地区的领主地位，令弗朗茨二世大为不快。拿破仑为了吸引更多国家加入邦联，决定亲手终结神圣罗马帝国。因此他对奥皇弗朗茨二世发出最后通牒，要求他解散神圣罗马帝国，并且放弃神圣罗马皇帝和罗马人民的国王的称号。最后弗朗茨二世于1806年8月6日放弃神圣罗马帝号，仅保留奥地利帝号。神圣罗马帝国正式灭亡。