È considerato uno dei maggiori scrittori olandesi del dopoguerra.
Ha scritto romanzi, racconti brevi, opere teatrali, poesie, saggi, opere filosofiche e scientifiche.
Lo stile di Hermans è asciutto, nervoso. La sua scrittura occupa un posto affatto singolare nel panorama della letteratura neerlandese, ed è caratterizzata soprattutto dall'uso di frasi di grande concisione.
Hermans risentì profondamente dei fatti della Seconda guerra mondiale, nonché dell'occupazione tedesca dei Paesi Bassi (avvenuta tra il 1940 e il 1945), e i suoi romanzi più lunghi (De tranen der acacia's e De donkere kamer van Damokles) trovano la loro ambientazione proprio nel periodo della guerra.
Anche i suoi scritti più divertenti (fra i quali citiamo almeno Onder professoren e Au pair) possono essere ascritti a un filone esistenzialista.
Nel 1958 ottiene la cattedra di geografia fisica all'Università di Groninga.
Nel 1972 Hermans viene accusato di occupare il suo tempo di accademico con la scrittura, più che con l'insegnamento. È istituita una commissione parlamentare d'inchiesta per far luce sulla questione.
La commissione stabilisce che il capo d'accusa che può essere imputato a Hermans consiste soprattutto nell'uso che egli ha fatto della cancelleria dell'Università per fini privati mentre scriveva i suoi appunti.
Nel 1973, in seguito ai fatti citati, Hermans rassegna le dimissioni e si trasferisce a Parigi, dove si dedicherà a tempo pieno alla scrittura.
Nel romanzo Onder professoren (Tra professori) (1975) lo scrittore fa una descrizione della vita universitaria di Groninga, in tono decisamente satirico, e non senza amarezza.
Il libro può essere letto come un romanzo a chiave, e fu scritto interamente sulla facciata bianca delle lettere dell'università.
Zomerplaag, l'alter ego di Hermans nel romanzo, sostiene che scrivere è l'unico modo "per fare qualcosa di utile con questa carta costosa che normalmente scomparirebbe, senza essere letta, nel cestino della cartastraccia, inquinando l'ambiente'.
In seguito, l'università obbligherà il suo personale ad utilizzare entrambe le facciate dei fogli di carta.
Hermans, comunque, periodicamente saliva agli onori delle cronache per la sua vis polemica, com'è reso chiaro in particolare dal 'caso Weinreb': in questa circostanza, che non mancò di sollevare un vero e proprio polverone, lo scrittore ebbe un ruolo chiave nello smascheramento di un impostore che sosteneva di essere stato un combattente della resistenza e di aver aiutato altri ebrei durante l'occupazione nazista dei Paesi Bassi.
Nel 1986 il sindaco e il consiglio comunale di Amsterdam dichiarano ufficialmente Hermans "persona non grata" ad Amsterdam, in seguito alla visita compiuta da questi nel 1983 in Sudafrica, in aperta sfida verso il boicottaggio culturale che era stato dichiarato contro quel paese per la sua politica di apartheid.
Sposato ad una donna non bianca, Hermans non si era infatti curato del boicottaggio. Lo scrittore sarebbe tornato nella sua città solamente nel 1993, in occasione della presentazione di un libro e dopo che il consiglio comunale aveva posto fine, su richiesta dello stesso Hermans, al suo status di 'persona non grata'.
Hermans ha ricevuto un dottorato honoris causa dall'Università di Liegi nel 1990 e uno dall'Università di Pretoria nel 1993.
