Bernlef bezocht de hbs in Haarlem en studeerde daarna enige tijd politieke en sociale wetenschappen.

Hij debuteerde in 1959 onder het pseudoniem J. Bernlef als dichter met Kokkels, en in hetzelfde jaar als prozaïst met Stenen spoelen. Voor Kokkels ontving hij in november 1959 de Reina Prinsen Geerligsprijs. In 1984 werd hij bij het grote publiek bekend met zijn roman Hersenschimmen, waarin hij het dementeringsproces uitvoerig beschrijft vanuit het oogpunt van een dementerende man. De roman werd in 1988 verfilmd door Heddy Honigmann en werd in 2006 in bewerking als toneelstuk uitgevoerd door het Ro Theater onder regie van Guy Cassiers.

In 2007 werd de novelle Vallende Ster door het O.T. Theater als toneelstuk uitgevoerd. Acteur René van 't Hof vertolkte de figuur van variété-artiest Wim Witteman. Hiervoor ontving hij de VSCD-Mimeprijs). Bernlef was getrouwd met Eva Hoornik (dochter van de dichter Ed. Hoornik). Ze hadden twee kinderen.

Bernlef heeft ook gepubliceerd onder de pseudoniemen Ronnie Appelman, J. Grauw, Cas den Haan, S. den Haan en Cas de Vries. Het pseudoniem Bernlef is ontleend aan de blinde Friese dichter Bernlef uit de 8e eeuw.

Als vertaler heeft Bernlef in het Nederlandse taalgebied tal van Amerikaanse en Zweedse dichters geïntroduceerd, onder wie Marianne Moore, Elizabeth Bishop en Tomas Tranströmer. Van de Zweed, die door velen als een van de grootste hedendaagse dichters wordt beschouwd, heeft hij zelfs het hele werk integraal vertaald onder de titel De herinneringen zien mij.

Bernlef was de schrijver van het Boekenweekgeschenk in 2008, met het boek De pianoman. In 2009 schreef Bernlef in opdracht van O.T. Theater/Opera O.T. de tekst voor de operasolo Ophelia.

Hij overleed na een kort ziekbed.