Nach dem Studium der Theologie übernahm Irmler zunächst ein Pfarramt in Brasilien.1939 kehrte er aufgrund des Todes des Vaters kurzzeitig in seine Heimatstadt zurück, übernahm dann - durch den Kriegsausbruch an der Rückkehr in sein altes Pfarramt gehindert - seelsorgerische Tätigkeiten in benachbarten Gemeinden. Bis 1947 war Irmler so als Pfarrer und Superintendent tätig. Später wurde er Landesgefängnispfarrer im sächsischen Waldheim und blieb es bis 1953. Hernach theologische Mitarbeit im Gustav-Adolf-Werk in Kassel, für das er viele Reisen unternahm. 1963 übernahm Irmler das Rektorat des Diakonissen-Mutterhauses Breslau-Lehmgruben in Marktheidenfeld.
Irmler veröffentlichte zahlreiche Bücher zu verschiedenen Themen, darunter auch Reiseberichte und belletristische Werke.