Urodził się 30 marca 1889 r. w Strasburgu, ukończył architekturę na Uniwersytecie Technicznym w Hanowerze. W czasie I wojny światowej służył w marynarce wojennej. Pracował jako architekt rządowy, od 1920 r. prowadził własne biuro architektoniczne w Hamburgu, a następnie pracował jako dyrektor Biura Rozbudowy Miasta w Wilhelmshaven. Od 1933 r. był członkiem NSDAP.

Po wybuchu wojny w grudniu 1939 r. przyjechał do Łodzi, gdzie został mianowany dyrektorem Biura Planowania Miasta. Jego głównym zadaniem była przebudowa miasta w duchu niemieckim. W tym celu sprowadził do Łodzi niemieckich architektów i inżynierów, którzy mieli opracować i przeprowadzić plan stworzenia ośrodka dla pół miliona Niemców przy jednoczesnym wysiedleniu Żydów i Polaków. W 1940 r. Hallbauer opierał się protestom lokalnych Niemców związanym z koniecznością porzucenia należących do nich nieruchomości znajdujących się na terenie planowanego getta, uzasadniając to koniecznością absolutnego odseparowania Żydów od pozostałej ludności. Uspokajał przy tym, że getto jest etapem przejściowym planowanym na kilka miesięcy i po jego likwidacji, a tym samym po usunięciu Żydów niemieccy właściciele, jeśli będą tego chcieli, odzyskają zdezynfekowane nieruchomości, a wszelkie szkody zostaną zrekompensowane finansowo.

W 1940 r. opublikował pracę poświęconą problemom przestrzennym miasta Łodzi ze wstępem Herberta Volcka. Fragmenty projektu wraz z przygotowanymi makietami budynków zostały sfilmowane w 1941 r. na potrzeby propagandowego filmu Aus Lodz wird Litzmannstadt (vide). Zatwierdzał plany przebudowy obszaru getta łódzkiego, w tym zmiany nazw ulic (vide) na jego obszarze wprowadzone w lipcu 1941 r.

Od października 1941 r. pracował równolegle w okupowanym Lwowie, gdzie stworzył projekt miasta podzielonego między ludność niemiecką, polską, ukraińską i żydowską. Od lutego 1942 r. na stałe przebywał we Lwowie, gdzie został mianowany zastępcą komisarza miasta. Podobnie jak w Łodzi, odpowiedzialny był tam za izolację Żydów w getcie i wykorzystanie ich pracy przymusowej, a następnie współpracował z SS przy eksterminacji lwowskich Żydów. W 1944 r. Hallbauer otrzymał od Hansa Franka zlecenie na przygotowanie reprezentacyjnego prezentu dla Adolfa Hitlera z okazji 55. urodzin w imieniu Generalnego Gubernatorstwa.

Po wojnie wrócił do Niemiec Zachodnich, gdzie pracował jako planista i architekt, komentując m.in. rozwój przestrzenny miasta Wilhelmshaven. Nigdy nie został pociągnięty do odpowiedzialności za swoją pracę w okresie II wojny światowej. Zmarł 26 października 1969 r. w Holzminden.