Der Investiturstreit und die nachfolgenden Machtkämpfe zwischen Kirche und Reich unter den salischen Kaisern berührten auch das hiesige Gebiet. Die auf dem Ilsestein erbaute Reichsburg "Ilsinestein" wird auf Betreiben des Klosters mit Hilfe romfreundlicher Vasallen völlig zerstört. Die bekannte Sage vom Ilsestein führt auf dieses Ereignis zurück.