Przodkowie jego matki Żydówki pochodzili z Rosji, ojciec pracował jako urzędnik dla amerykańskiej armii podczas drugiej wojny światowej. Jego rodzice, ze względu na podziały rasowe, długo nie mogli się pobrać. Walter nie miał rodzeństwa; uczył się w szkole dla Afroamerykanów, jednej z pierwszych, która uczyła historii czarnej Ameryki. Jak sam podkreśla, czuje się zarówno Afroamerykaninem, jak i Żydem – obie grupy są dla niego równie ważne. Absolwent nauk politycznych na Johnson State College.
Walter Mosley zaczął pisać w wieku 34 lat. Bezpośrednich inspiracji dla jego utworów można szukać w twórczości Dashiella Hammetta, Grahama Greene’a czy Raymonda Chandlera. Pierwsza wydana książka Mosleya to Devil in a blue dress (Śmierć w błękitnej sukience Da Capo 1992) – należąca do literatury hard-boiled powieść o czarnoskórym prywatnym detektywie Easy Rawlinsie, weteranie drugiej wojny światowej, mieszkającym w Los Angeles. Książka ta zapoczątkowała cykl o Rawlinsie – do tej pory ukazało się dwanaście jego części. Mosley jest najbardziej znany właśnie z kryminałów, ale nie tylko takie utwory pisze – jest także autorem powieści science-fiction i politycznych. W 1995 roku Śmierć w błękitnej sukience stała się podstawą filmu W bagnie Los Angeles, w którym wystąpił Denzel Washington.