Josef Willems werd geboren op 12 maart 1908 in Eschweiler bij Aken en bracht zijn jeugd door in een zeer op muziek georiënteerd gezin. Na zijn middelbare school studeerde hij kerkmuziek en directie aan de Muziekacademie van Keulen en schoolmuziek in Berlijn. Na het afronden van zijn studie werkte hij aanvankelijk in zijn geboorteplaats en kwam in die tijd ook in contact met Herbert von Karajan, die in het naburige Aken werkte. Willems was de vaste klavecinist van Karajan bij de concerten van het Akense Orkest. In de herfst van 1937 werd hij door Karajan aangesteld als kandidaat voor kapelmeester aan het Stadttheater Aken. Korte tijd later dirigeerde hij bekende opera's. Nadat in het oorlogsjaar 1944 alle Duitse theaters waren gesloten, werd Willems opgeroepen voor de Wehrmacht. Hij werd begraven tijdens een bomaanslag en belandde in het ziekenhuis. Na het einde van de oorlog nam Josef Willems verschillende koren over in de omgeving van Offenbach, Wiesbaden en Lohr. Meer dan 30 jaar werkte hij als plaatsvervangend federaal koordirigent in de muziekcommissie van de Maintaler-Sängerbund. Daarnaast werkte Josef Willems als jurylid bij tal van muziekconcoursen. Als medewerker van de Hessische Radio dirigeerde hij vele concerten en opnames van het radio-orkest. Josef Willems was een begenadigd musicus en een uitstekend koordirigent. Op 48-jarige leeftijd ging hij in dienst van de Hessische school en ging met pensioen als senior leraar. Deze tijd was gevuld met componeren, dirigeren, concertvoorbereidingen en huisconcerten, en hij was bijzonder trots op zijn "Steinway-vleugel". Op 24 september 1995 stierf Josef Willems in een kliniek in Kornwestheim.