Kiedy stał się popularnym śpiewakiem ulicznym, postawił przed sobą zadanie tworzenia rymów o cierpieniach, aktualnych problemach, troskach i uciążliwościach getta oraz śpiewania je masom. Prawie przez trzy lata żył z jałmużny rzucanej mu przez gromady ludzi na ulicach. Dopiero w 1943 r., kiedy nastąpiła rejestracja wszystkich ludzi zdol- nych do pracy, został włączony w proces pracy. Pracował najpierw w kooperatywie, potem w sklepie z chlebem, następnie w kuchni, a także w piekarni macy. W końcu zatrudniony został jako pracownik fizyczny w drukarni getta. W tym czasie występował także jako wykonawca swoich pieśni na ulicach oraz na podwórkach, niekiedy także w zamkniętych pomieszczeniach przed pracownikami z resortu. Jego honorarium składało się przeważnie z zup, które kazali mu wydawać jego mecenasi.
W 1992 r. Gila Flam opisała Herszkowicza w książce Singing for Survival. W 1994 r. w Paryżu, nakładem przyjaciela Herszkowicza Josefa Wajsblata, wyszła książka Der gezang fun lodżer geto (Ballady z łódzkiego getta). Dzieje pieśniarza stały się inspiracją dla filmu Król i błazen. Pieśń duszy o getcie łódzkim w reżyserii Elada Dana, gdzie śpiewak getta został przeciw- stawiony Rumkowskiemu. Głos Herszkowicza został zarejestrowany w 1966 r. przez Radio Łódź.