Nació el 8 de febrero de 1932, siendo el primero de cuatro hijos de Esther y John Williams. Su padre fue un percusionista de jazz que tocó con el legendario quinteto de Raymon Scott. En 1948, la familia Williams se mudó a Los Ángeles; allí, John Williams asistió a la escuela secundaria North Hollywood High School, graduándose en 1950. Luego se trasladó a la Universidad de California, donde estudió piano y composición, y tomó clases particulares con el compositor Mario Castelnuovo-Tedesco y con el pianista-arreglista Bobby Van Eps. En 1952, fue reclutado para la Fuerza aérea de los Estados Unidos, donde arregló y dirigió música para la banda de la fuerza aérea, como parte de sus deberes.

Cuando su servicio militar terminó en 1955, Williams se trasladó a la ciudad de Nueva York y entró en la Academia Juilliard, donde estudió piano con Rosina Lhévinne. En aquel período trabajó como pianista de jazz en varios estudios y clubes de Nueva York. También tocó para el compositor Henry Mancini en las bandas sonoras de Peter Gunn (1959), Días de vino y rosas (1962) y Charade (1963). A principios de la década de 1950 trabajó como arreglista y líder de banda para Frankie Laine y Vic Damone. En 1960 fue contratado por Columbia Records como pianista y compositor, realizando numerosos álbumes junto al compositor de origen alemán André Previn.

Williams estuvo casado con la actriz Barbara Ruick desde 1956 hasta la muerte de ella por hemorragia intracerebral, el 3 de marzo de 1974. Juntos, tuvieron tres hijos: Joseph Williams (cantante y compositor), Mark Towner Williams (percusionista) y Jennifer Williams (doctora). Se casó por segunda vez el 21 de julio de 1980 con Samantha Winslow, su actual esposa, con quien vive en la ciudad de Boston. Mantiene una estrecha amistad con los músicos Itzhak Perlman, Yo Yo Ma y Seiji Ozawa; incluso les ha dedicado algunas obras.