Taylor je rođen u Grinvilu, Njujork, 1921. godine, a odrastao je u Vašingtonu. Nakon diplomiranja na univerzitetu Virginia State, preselio se u Njujork gde je svirao sa Benom Websterom. Među muzičarima s kojima je nastupao u to vreme nalaze se Charlie Parker, Miles Davis, John Coltrane, Billie Holiday, Ella Fitzgerald, Machito, Coleman Hawkins, Eddie South, Stuff Smith i Slam Stewart.
Kao klupski muzičar (house pianist) u Njujorškom Birdlandu svirao je od 1949. do 1951. sa Dizzyjem Gillespijem i drugim legendama džeza. Potom je predvodio sopstvene trio postave, uz prateće muzičare kao što su Ed Thigpen, Earl May, Oscar Pettiford, Art Blakey, Charles Mingus, Jo Jones, Victor Gaskin, Freddie Waits, Chip Jackson i Winard Harper.
Taylor je radio kao umetnički direktor džez odseka Kennedy Centera u Vašingtonu, od 1994. do svoje smrti. Njegovi programi uživo, pod nazivom “Billy Taylor’s Jazz at the Kennedy Center”, rađeni su u produkciji National Public Radija i prenošeni širom SAD.
Nosilac je titule džez mastera Nacionalne zadužbine za umetnosti (1988), a dve godine kasnije dobio je i Nacionalnu medalju za umetnost.