Er absolvierte ein Theologiestudium in Breslau und ab 1934 als Mitglied des Pontificium Collegium Germanicum et Hungaricum de Urbe an der Päpstlichen Universität in Rom. Dort erhielt er am 27. Oktober 1940 die Priesterweihe und wurde, nach dem Einzug in die Wehrmacht, Dolmetscher bei der Luftwaffe. Nach Kriegsende betreute er als Mitarbeiter der Pontificia Commissione di Assistenza deutsche Kriegsgefangene in Italien. Im Heiligen Jahr 1950 leitete er das deutsche Pilgerbüro in Rom. In den Jahren 1951 bis 1970 war Bayer Generalsekretär der Caritas Internationalis, der Vereinigung nationaler Caritasverbände. Ein wichtiger Schwerpunkt seiner Arbeit war die Aufbauhilfe für nationale Caritasorganisationen in Südamerika und Südosteuropa. Ideenreich und nicht selten unkonventionell koordinierte Bayer zahlreiche kirchliche Hilfsaktionen. Sein engagierter Einsatz in der Biafra-Hilfe (1968 bis 1970) führte zu diplomatischen Querelen und dem Rücktritt Bayers. In den Jahren 1972 bis 1977 leitete Bayer den Wiener Europäischen Hilfsfonds mit dem Schwerpunkt der Hilfe für Osteuropa, nachdem ihm Kardinal Julius Döpfner zu diesem Posten verholfen hatte.
Vier Tage nach seinem Tod in seiner römischen Wohnung wurde er auf dem Campo Santo Teutonico begraben.