作為報復，教皇把亨利四世逐出教會，并要求德意志的王公貴族遠離這位不稱職的國王。德意志的王公們正巴不得除掉亨利四世，于是他們邀請教皇來到奧格斯堡，幫他們選出一位新皇帝。

于是，格里高利離開了羅馬，動身前往北方。亨利四世也不是傻瓜，他清楚地知道自己的處境非常危險。他必須不惜一切代價，換取與教皇的和平相處。時值嚴冬，亨利顧不得天氣寒冷，匆匆翻過阿爾卑斯山，來到教皇臨時歇腳的卡諾薩城堡。

從公元1077年1月25日～28日整整三天的時間里，亨利都打扮得像個虔誠的教徒一樣（他破舊的僧服下面其實穿著保暖的毛衣），一直等候在卡諾薩城堡的大門外。最終教皇允許他進入城堡，并赦免了他的罪責。但他的懺悔并沒有持續(xù)多久。亨利一回到德國，就和以前一樣，我行我素。于是教皇再次把他逐出教會，而亨利也再次召開了德意志主教會議，廢黜了格里高利。

這次亨利帶著一支軍隊，翻越了阿爾卑斯山。他們包圍了羅馬，逼格里高利退位，并把他流放到薩勒諾，格里高利最終死在那里。但這次流血沖突并沒能解決任何問題。亨利一回到德意志，教皇和皇帝之間的戰(zhàn)爭就又展開了。

不久之后，霍亨施陶芬家族取得了德意志帝國的皇位，他們變得比前任更加獨立。格里高利曾經(jīng)聲稱，教皇凌駕于所有君主之上，因為教皇要在末日審判那天為他所掌管的所有羔羊負責；而在上帝看來，一個國王不過是牧羊人中的一分子而已。