Josef Ruben Ehrlich urodził się w galicyjskich Brodach w ubogiej rodzinie – Gutele i Josefa Rubena Ehrlicha. Tuż przed jego narodzinami, w czasie epidemii cholery, zmarł jego ojciec oraz starsze rodzeństwo a matka straciła wzrok. Już w niemowlęctwie Josef został więc oddany na wychowanie do szewca chasyda Samuela Wolfsteina i jego żony Freidele, ale kiedy dorósł, nie podzielał już pobożności chasydów. Naukę pobierał wpierw w chederze, a następnie w polskiej szkole z językiem niemieckim. Brody opuścił w 1861 roku i dotarł do Wiednia. Tam rozpoczął studia filozoficzne. Wiadomo, że interesował się przyrodą, a zwłaszcza astronomią. Jego poglądy można określić jako liberalno-lewicowe. Utrzymywał się z pisania artykułów dla kilku wiedeńskich gazet, np. „Wiener Allgemeiner Zeitung”. Pracował też w bibliotece dworskiej (dziś to Austriacka Biblioteka Narodowa w Wiedniu). Poznał tam Josefa Weilena, który stał się jego mentorem. Dzięki jego wsparciu w 1874 roku opublikował swoje wspomnienia z dzieciństwa w Brodach: Der Weg meines Lebens. Erinnerungen des ehemaliges Chassiden [Droga mojego życia. Wspomnienia byłego chasyda]. Wydał też inne dzieła: Jacobus Ortis (tragedia, 1870), Fabeln und Aphorismen [Bajki i aforyzmy, 1876], Der Humor Shakespeares (1882), Cato der Weise (komedia, 1898). Ożenił się z Ernestine Popper, która porzuciła judaizm i po chrzcie w kościele katolickim przyjęła imię Maria. Małżeństwo pozostało bezdzietne. Josef Ehrlich zmarł w Wiedniu 26 grudnia 1899 roku, a dwa dni później został pochowany w katolickiej części wiedeńskiego cmentarza Zentralfriedhof.