Comenzó su carrera musical como pianista y arreglista. Grabaría su primer disco para Okeh en 1927. Buen amigo del maestro Duke Ellington, con quien permaneció durante cuatro meses después de llegar a Nueva York, Stone trabajó como director de orquesta en el Apollo mientras componía y arreglaba material para grandes bandas lideradas por leyendas de la era del swing, Chick Webb o Jimmie Lunceford.
