Urodził się w Waterloo w stanie Iowa. W czasie II wojnie światowej służył w transporcie 102. Dywizji Piechoty. Był dwukrotnie ranny, druga rana, odłamek w nodze, otrzymana w pobliżu Łaby pod koniec wojny, uczyniła go inwalidą do końca życia.
Po wojnie podjął studia z zakresu muzykologii, otrzymał bakalaureat z wyróżnieniem na Wayne State University, a następnie magisterium i doktorat na Uniwersytecie Stanowym Michigan. Po studiach wykładał na Eastern Michigan University. Zaczął pisać w 1955 r., profesjonalnym pisarzem został po opublikowaniu powieści All the Colors of Darkness w 1963 r.
W twórczości często wykorzystywał tematy związane z muzyką i sztuką. Jest uznawany w kręgach science fiction za autora, który wprowadził pierwiastek estetyczny do literatury, kojarzonej do tej pory głównie z problematyką naukowo-technologiczną.
Był członkiem-założycielem SFWA, pełniąc funkcję pierwszego skarbnika (1965-1967), a potem przez przewodniczącego rady powierniczej (1978-1981). Był pomysłodawcą nagrody Nebula.
Zmarł na białaczkę