Walton je odrastao u muzičkoj porodici u Dalasu; studirao je kompoziciju na Univerzitetu u Denveru, a potom i program muzičke edukacije. Napustio je školovanje i preselio se u Njujork 1955. godine, a nakon službe u vojsci svira sa Kennyjem Dorhamom, J.J. Johnsonom, Bennyjem Golsonom, Artom Farmerom, itd.
Ranih šezdesetih priključuje se čuvenom sastavu Art Blakey’s Jazz Messengers kao pijanista i aranžer tokom tri godine, gde je između ostalih svirao sa Freediejem Hubbardom i Wayneom Shorterom. Napustio je bend 1964. i do kraja dekade bio je deo “kućne” ritam sekcije u Prestige Records, gde je objavljivao i albume pod svojim imenom. Godinama je svirao sa Abbey Lincoln, snimao je sa Leejem Morganom od 1966. do 1968, a sredinom sedamdesetih predvodio je i fank grupu Mobius. Mnoge njegove kompozicije postale su standardi, kao što su “Firm Roots”, “Bolivia” i “Cedar’s Blues”. ”