Nach seinem Rücktritt hatte er zuletzt zurückgezogen im Kloster Marienfeld bei Maria Roggendorf in Niederösterreich gelebt.
Die ersten Vorwürfe in Medien waren im März 1995 aufgetaucht. Groer schwieg dazu beharrlich - bis auf zwei schriftliche Erklärungen, in denen er aber auch nicht klar Stellung bezog. Der Vatikan reagierte nur indirekt: Am 13. April wurde Christoph Schönborn als Erzbischof-Koadjutor mit dem Recht auf Nachfolge eingesetzt. Mit Wirkung per 14. September 1995 wurde dann Groers Rücktrittsgesuch - längst vor der Affäre dem Kirchenrecht entsprechend aus Altersgründen eingebracht - angenommen.
Am 1. September 1996 übernahm Groer dann doch wieder ein kirchliches Amt: Er wurde Prior des Benediktinerklosters in Maria Roggendorf, einem Ableger des Stiftes Göttweig. Dieses Amt musste der mittlerweile schwer kranke Kardinal nach neuerlichen Vorwürfen gegen ihn am 3. Jänner 1998 zurückgelegen. Die Vorwürfe kamen diesmal offenbar von Ordensbrüdern aus dem Stift Göttweig. Die Folge war dann eine außerordentliche Visitation des Klosters durch den Abtprimas der Benediktiner, Marcel Rooney.
Überschattet von der Affäre um den Kardinal war dann im Juni 1998 der dritte Besuch von Johannes Paul II. in Österreich. Bereits im Februar hatten die Bischöfe Schönborn, Johann Weber, Egon Kapellari und Georg Eder in einer Aufsehen erregenden Stellungnahme Erklärung betont, dass die Vorwürfe gegen Groer "im wesentlichen zutreffen". Einen Monat später hat Schönborn seinen Vorgänger Groer gebeten, von bischöflichen Handlungen Abstand zu nehmen. Schließlich wurde dafür gesorgt, dass er am Papstbesuch nicht teilnehmen konnte. Er verbrachte einige Zeit in einem Kloster in Goppeln bei Dresden.
Der frühere Vorsitzende der Bischofskonferenz, der Grazer Erzbischof Johann Weber, meinte einmal, die Causa Groer habe in der gesamten Kirche Österreichs einen "Flächenbrand" ausgelöst. Die Zahl der Kirchenaustritte stieg kurzfristig dramatisch an, sanken aber rasch wieder auf das gewohnte Niveau. Ein Ausdruck der mit dem Fall Groer losgetretenen innerkirchlichen Diskussion war auch das Kirchenvolks-Begehren im Juni 1995. Die Bischöfe riefen in der Folge einen breit angelegten "Dialog für Österreich" aus, der mittlerweile im Sand verlaufen ist.
Einer der positiven Höhepunkte von Groers Amtszeit war 1988 der zweite Besuch von Papst Johannes Paul II. Groer hat sich außerdem um seine Domkirche St. Stephan verdient gemacht: Der Dom erhielt einen neuen Volksaltar und eine neue Orgel. 1989 berief Groer ein Diözesanforum als "geistlichen Gesprächsprozess" ein, bei dem die Gläubigen ihre Wünsche, Nöte und Sorgen artikulieren sollten. Das einzige konkrete Ergebnis war eine höchst umstrittene Reform der Wiener Kirchenzeitung.
Als der bis dahin einer breiteren Öffentlichkeit unbekannte Benediktiner-Pater Groer 1986 völlig überraschend zum Erzbischof ernannt wurde, war er bereits als Religionslehrer in Pension und hatte sich als Wallfahrtsdirektor nach Maria Roggendorf zurückgezogen. Die Bekanntgabe seiner Ernennung am 16. Juli 1986 sorgte für (vorerst noch verhohlene) Kritik. Eine Reihe "logischer" Nachfolger für Kardinal Franz König waren übergangen worden. Viele sahen später in der Berufung Groers den Beginn eines Kurswechsels Roms bei Bischofsernennungen hin zu konservativen Kandidaten.
Hans (Taufname) Hermann (Ordensname) Groer wurde am 13. Oktober 1919 in Wien geboren. Seine Eltern übersiedelten 1929 aus beruflichen Gründen in die Tschechoslowakei und kehrten 1939 zurück. Groer selbst besuchte trotz dieser Übersiedlung nach Brünn österreichische Schulen
- zuerst in Wien und dann das Gymnasium bzw. Seminar von Hollabrunn. 1942 erfolgte die Priesterweihe, 1946 wurde Groer Studienpräfekt im Hollabrunner Knabenseminar.
Ein weiteres Betätigungsfeld Groers war der Aufbau der konservativ-katholischen "Legion Mariens". Ab 1969 bemühte er sich um die Wiederbelebung des Wallfahrtsortes Maria Roggendorf im Weinviertel, wo er ab 1970 als Wahlfahrtsdirektor wirkte. Auf Groer geht auch die Gründung des Zisterzienserinnenklosters Marienfeld bei Maria Roggendorf zurück.
Relativ spät entschloss sich Groer, in den Benediktinerorden einzutreten. Seine feierliche Profess legte er 1980 im Alter von 61 Jahren in Göttweig ab.