Jusqu'au milieu des années 1990, Larkin n'est qu'un modeste pianiste de jazz sillonant les grands hôtels européens.
Atteint de bégaiement, il se cache derrière son piano pour, selon lui, dissimuler sa peur de parler, jusqu'au jour où il découvre que ce handicap lui permet certaines prouesses vocales.
En effet, à la fin de l'année 1994, John Scatman débarque sur les ondes allemandes avec son premier tube, sobrement intitulé Scatman. Mélange de scat et de dance, la chanson au fameux Ski Ba Dop Ba Dop Bop se répand dans le monde entier et se vendra à plus de 20 millions d'exemplaires.
Un second tube, Scatman's World, suivra quelques mois plus tard, avant que John Scatman ne retombe dans l'anonymat, accompagné de Paul Dunn, le guitariste de sa tournée, et d'une poignée de fans.
Il meurt des suites d'un cancer du poumon, le 3 décembre 1999, dans sa maison, à Los Angeles.
L'homme au chapeau mou a également fondé la Scatland Foundation, association à but non lucratif de soutien en faveur des bègues.