光仁天皇の後を継いだ桓武天皇は、新たな政治基盤を確立すべく、寺社など旧勢力の強い奈良から、水陸交通の便利な山城の地に都を移すことを考え、まず長岡京へ、次いで平安京へ遷都した（794：延暦13）。
天皇は律令体制の立て直しに力を注ぎ、徴兵による全国の軍団の殆どを廃止し、郡司の子弟を健児（こんでい）に採用して国司の役所である国衙（こくが）を守らせた。また、班田収授を励行し、公出挙や雑徭を軽減して農民の負担を軽くした。国司の交代も、勘解由使（かげゆし）を置いて監査するなど、地方官を厳しく取り締まった。
奈良時代末より激しさを増してきた蝦夷（えみし）の反乱に対しては、坂上田村麻呂を征夷大将軍に任じて北上川の中流域までを平定させ、ここに胆沢城（いざわじょう）を築き、鎮守府を多賀城からこの地に移した。
桓武天皇の後を継いだ平城（へいぜい）天皇、嵯峨天皇も引き続き律令政治の改革をめざした。しかし、810年（弘仁元年）、平城上皇が復位と平城京への復都を企てて失敗した薬子の変（平城上皇の変）が起こると、嵯峨天皇は政務上の機密を守るために蔵人頭（くろうどのとう）をおき、藤原冬嗣をこれに任命した。次いで都の治安を維持するために検非違使（けびいし）が設けられた。
823（弘仁14）年、太宰府の管内に口分田やそのあまりの田の1/6を割いて公営田（くえいでん）が設けられ、その後官田・諸司田などが設けられた。また、それまでの格式が整理され、弘仁格式にまとめられた。
嵯峨天皇の死後、藤原氏の北家が急激に勢いを伸ばし、藤原冬嗣は皇室との姻戚関係を深めた。冬嗣の子、良房は太政大臣に任ぜられた後、858（天安2）年に清和天皇が幼少で即位すると、その外祖父として事実上政治を掌握した。
承和の変で伴健岑（これみね）・橘逸勢（はやなり）らの有力氏族らの勢力が退けられ、応天門の変（866：貞観8）年が起こり、時の大納言伴善男が処罰されると、伴（大伴）氏と紀氏の勢力が中央政界から追われた。その結果、良房が正式に摂政となり、天下の政治を執り行うことになった。
良房の養子基経は、次に立った陽成天皇の伯父であり、右大臣として摂政の任に当たり、さらに太政大臣に任ぜられると、陽成天皇を廃して光孝天皇を位に就けた。光孝天皇はその功に報いるため、基経を関白の地位に就け、政治を執り行わせた。
藤原基経が亡くなると、光孝天皇の後を継いだ宇多天皇は摂政・関白を廃し、菅原道真を登用して自ら政治を取り仕切った。道真は基経の子時平と並んで昇進し、醍醐天皇のときには時平が左大臣、道真が右大臣となったが、901（延喜元）年、道真は時平の策謀により大宰府に左遷された。
醍醐天皇の時代には、衰退しつつあった国司や戸籍の制度を守る努力が払われ、延喜格式（法典）や「日本三代実録」（国史）の編纂が行われた。
この頃、地方政治を担う国司の中に、任地先の国衙に目代（もくだい）を派遣し、自らは国司の俸禄だけを手にしようとする者が現れた（遙任：ようにん）。一方、在国の国司で最上位のものは受領（ずりょう）と呼ばれ、任国を私領化して多くの富を蓄えるようになった。
この受領支配に対し、在地の豪族は中央の貴族・寺社と結び、荘園を開いて租税を収めなかったため、次第に受領は貴族・寺社とするどく対立するようになっていった。
やがて目代のもとで、地方豪族から登用された在庁官人が国政の実務を握るようになり、在地勢力が伸張しはじめた。
有力な地方豪族のなかには、弓矢を持って戦い、配下に家子（いえのこ）や郎党（ろうとう）を率いて武士化するものが現れた。朝廷や貴族は、地方武士を「侍（さむらい）」として奉仕させ、宮中を警備する滝口の武士に任じたり、諸国の追捕使（ついぶし）や押領使（おうりょうし）に任命して、地方の治安維持を分担させたりした。
地方武士の動きは、特に東国で激しく、桓武平氏の高望王（たかもちおう）は上総の国司として関東に下ると、その一族はそのまま土着して地域の支配者となった。
平将門（たいらまさかど）は承平年間、土地や租税をめぐって国司・郡司と対立し、他の豪族たちと手を結んで939（天慶2）年、国府に対する反乱をおこした（将門の乱）。将門は常陸・下野・上野を国府を攻め落とし、自ら「新皇（しんのう）」と称した。
同じ頃、西国でも伊予の国司として赴任したまま土着した藤原純友が、瀬戸内海の海賊を率いて各地を襲撃し、940（天慶3）年には山陽道・南海道の国々を襲い、ついに大宰府を攻め落とした（純友の乱）。
これらの地方の反乱は、東国では平貞盛と藤原秀郷が、西国では源経基らの武士により平定され、その結果源平二氏が勢力を増すきっかけとなった。
醍醐天皇の後、藤原時平の弟忠平が太政大臣として摂政や関白に任ぜられたが、村上天皇は忠平の死後摂関を置かず、親政を行った。しかしその後は藤原北家の中でも忠平の子孫だけが摂関に任じられるようになり、969（安和2）年、左大臣源高明が地位を追われる（安和の変）と、摂関が常設されるようになった。
摂関の地位をめぐっては忠平の子孫同士の争いが続き、やがて藤原道長が4人の娘を次々に天皇・皇太子の妃とし、朝廷で勢力をほしいままにした。後一条・後朱雀・後冷泉の3天皇はみな道長の外孫で、道長の子頼通もこの3天皇の時代、約50年にわたり摂政・関白を務めた。
摂政・関白は、令制の左・右大臣や太政大臣の職務と関わりなく、その上位に位するものとなり、もっぱら天皇の外戚に当たるものが任じられた。天皇が幼少のときは摂政となり、成人の後は関白となるのが慣例となり、摂関に就くものは藤原氏の氏長者（うじちょうじゃ）という私的な地位も兼ねるようになった。
一方、地方では政治が混乱する中で各地の武士団が荘園や公領を足場に大きく成長し、それらをまとめる有力者が武士の棟梁と呼ばれた。
承平・天慶の乱の後、関東では桓武平氏が勢力をふるい、1028（長元元）年には平忠常の乱が起こった。これを平定した清和源氏の源頼信は、それをきっかけに関東に勢力を伸ばした。
頼宣の子頼義と、その子義家はさらに奥州に進出し、陸奥・出羽の豪族安倍氏を前九年合戦、清原氏を後三年合戦で滅ぼし、その結果義家は関東・奥州の武士団と広く主従関係を結び、源氏の東国での基盤を築いた。また奥州では義家に協力した奥州藤原氏が勢力を得、清衡（きよひら）・基衡（もとひら）・秀衡（ひでひら）の3代に渡り平泉を中心に栄えた。
関東で勢力を失った桓武平氏は、伊勢・伊賀両国に基盤を築き、中でも平正盛・忠盛は荘園寄進を通じて朝廷への進出を図り、西国の受領に任じられ、西国を中心に勢力を伸ばした。
関白藤原頼通の娘に皇子が生まれなかったため、ときの摂関家を外戚としない後三条天皇が即位し、自ら政治を執った。1069（延久元）年の荘園整理令により、不法な荘園を禁止したため、荘園を経済的基盤としていた摂関家は大きな打撃を受けた。
続く白河天皇も親政を行い、1086（応徳3）年に幼少の堀川天皇に譲位した後も上皇としてその御所に院庁（いんのちょう）を開き、天皇を後見しながら政治の実権を握る院政の道を開いた。上皇は中・下級貴族や近親者などを院近臣（いんのきんしん）や院司（いんじ）に取り立てて政治的基盤とし、源氏・平氏の武士を北面の武士や検非違使に任じて軍事的基盤とした。
上皇の地位は天皇による任命の手続きを必要としないため、法と慣例にこだらわない上皇個人の意志による専制的政治が可能となった。この体制は鳥羽・後白河上皇を含め、ほぼ1世紀に渡って続いた。
上皇たちはみな仏教に篤く帰依し、寺院や自らの御所・離宮建立の費用を作るため、一国の経済的収益を皇族や特定の貴族に委ねる知行国制（ちぎょうこくせい）が広がった。知行国主は子弟や近親者を国守（くにのかみ）に任じて経済的収益を握り、荘園も専制的権力を持つ上皇のもとに集まってきた。
上皇の厚い信仰を得て勢力を伸ばした大寺院は、下級僧侶や荘園武士を僧兵に組織し、国司と争ったり、朝廷に強訴を繰り返すなどして次第に院の権力を脅かすようになった。このことは、寺社勢力の実力行使を防ぎ、上皇の身辺を警護することで力を伸ばしてきた源氏や平氏の武士たちが中央政界に進出するきっかけとなった。
鳥羽法皇が1156（保元元）年に亡くなると、朝廷内の政治的主導権や荘園の支配権をめぐって内乱が起こり、後白河天皇・藤原忠通方が、東国の源義朝や西国の平清盛らの武力によって、源為義の勢力を頼んだ崇徳上皇・藤原頼長方を打ち破った（保元の乱）。
その後院政を始めた後白河上皇に二人の近臣、藤原通憲（信西）と藤原信頼の対立から、1159（平治元）年に再び内乱が勃発した。この戦乱で平清盛は源義朝を倒し、後白河院政を背景に武家の棟梁としての実力と地位を得、平氏全盛の基礎を固めることができた。
平氏は諸国の武士団の組織化に力を尽くしながら、多くの荘園や知行国を手に入れて富を蓄え、また日宋貿易に力を入れて瀬戸内海航路を整え、大輪田泊（おおわだのとまり：現、神戸港）を修築した。
清盛はついに太政大臣となり、一族で高位高官を占め、娘徳子（建礼門院）は高倉天皇の中宮となった。しかし旧勢力の反発も強く、1177（治承元）年に藤原成親（なりちか）らが後白河法皇を動かして平氏打倒を図るも事前に発覚して失敗に終わった（鹿ヶ谷の陰謀）。清盛は1179（治承3）年に法皇を押し込め、多数の貴族の官職を奪い、全国の半ば近い知行国を手に入れた。
1180（治承4）年、清盛が孫の安徳天皇を位に就けると、その専制に不満を抱いた後白河法皇の皇子以仁王（もちひとおう）と源頼政が平氏打倒の兵を挙げた。それに呼応し、伊豆では源頼朝が、信濃では源義仲が挙兵し、さらに近江や四国・九州などで平氏に反発する武士団が次々に蜂起した。
頼朝は独立心の旺盛な東国の武士団を結集し、挙兵後約2ヶ月で南関東を制圧した。
平氏は都を福原（現、神戸市）に移し、反乱勢力に備えたが、富士川の戦いに敗れると都を戻して畿内の支配体制を固めた。一方、鎌倉に根拠地を置く頼朝は、1183年、朝廷との折衝で東国支配権を認めさせた。
清盛の死後、勢力が衰えた平氏は安徳天皇を奉じて西走した。頼朝は弟の範頼・義経に平氏追撃を命じ、各地に東国武士団を配置してゆき、平氏が長門の壇ノ浦の戦いで滅亡した1185（文治元）年には、ほぼ全国の軍事支配権を握った。
この間、頼朝は平家没管領（もつかんりょう）を朝廷から与えられ、これらを併せて関東御領（ごりょう）を成立させ、知行国を朝廷に求め、4カ国の知行国を得た（関東知行国、関東御分国）。これらの荘園、公領の経営と御家人らの裁判のために公文所（くもんじょ：後の政所まんどころ）や問注所（もんちゅうじょ）を設け、その長官である別当や執事には朝廷の下級役人である大江広元・三善康信を任じた。こうして頼朝は、東国武士団の力と朝廷の権威・統治技術を利用して幕府の基礎を固めていった。