Kraaijkamp begon zijn carrière als zanger en entertainer in Amsterdamse cafés, totdat hij begin jaren '50 Rijk de Gooyer leerde kennen. Met hem vormde hij jarenlang een succesvol duo: De Gooyer als aangever en Kraaijkamp als de clown.

Samen waren ze te zien in televisieshows als 'Een paar apart', 'Johnny & Rijk' en 'De weekendshow'. De 'Johnny & Rijk'-show werd ook enkele jaren in Duitsland uitgezonden.

In 1958 maakte Kraaijkamp zijn debuut in het theater. Hij deed er niet alleen cabaretprogramma's, maar was ook in serieuze stukken te zien: zo speelde hij in 1980 de titelrol in 'King Lear'. Voor zijn rol in 'Jacques de fatalist en zijn meester' kreeg hij in 1984 de Louis d'Or.

Later speelde hij in allerlei films, veelal Joop van den Ende-producties, zoals 'Heb meelij Jet', 'Vroeger kon je lachen' en 'Geen paniek'. Voor zijn acteerprestaties in 'De Aanslag' (uit 1986) en 'De Wisselwachter' (1986) kreeg hij een Gouden Kalf.

In de jaren 80 speelde hij in de AVRO-serie 'De Brekers', met zijn oude vriend Rijk de Gooyer, maar ook met Adèle Bloemendaal, Sacco van der Made en Ab Abspoel. In 'Laat maar zitten', een VARA-serie die zich in een gevangenis afspeelde, acteerde hij naast onder meer Haye van der Heyden en Coen Flink. Later was Kraaijkamp vooral bekend van zijn rol in de comedyserie 'Het zonnetje in huis', waarin hij met zijn zoon Johnny Kraaijkamp junior te zien was.

In 2000 besloot Kraaijkamp nooit meer voor televisie te gaan werken. "Er is geen respect voor artiesten, er wordt geen toestemming gevraagd voor herhalingen en er wordt liefdeloos omgesprongen met het gemaakte product", zei hij over die keuze.

Het toneel bleef wel trekken. Er werd zelfs een prijs naar hem vernoemd: de John Kraaijkamp Musical Awards. In 2007 kreeg Kraaijkamp de Blijvend Applaus Prijs, voor zijn bijzondere bijdrage aan theater, tv en film in Nederland.

Het ging al een tijdje slecht met hem. Hij stierf op 86-jarige leeftijd in een verzorgingshuis in Laren.