Nel 1932 la signora Maria Martina Hoogstraten muore di cancro al seno. Lascia nove figlie femmine e Willem, l’ultimo arrivato, un maschietto di poco più di quattro anni. La famiglia è abbiente, colta, progressista, ma il padre è incapace di gestire la situazione e si dimostrerà depresso e violento. Willem passa così dalla casa paterna a quella degli zii, e viceversa, vivendo in un totale disagio. Già dalla scuola primaria rivela seri problemi di apprendimento, a testimonianza di una forma di autismo che all’epoca non è ancora catalogata come patologia. Non riesce a seguire le lezioni, tranne l’ora d’arte, e continua a scarabocchiare tutto il giorno, umiliato da compagni e insegnanti. È particolarmente debole in matematica, materia che il padre cerca di insegnargli colpendolo ritmicamente con la bacchetta di legno, per fargli entrare in quella zucca vuota addizioni e sottrazioni.
Questi continui abusi fanno nascere in lui un complesso d’inferiorità, rispetto al quale l’arte rappresenterà, in seguito, l’unica cura possibile. Durante l’occupazione nazista dell’Olanda il padre, che ha ospitato e nascosto per un certo periodo alcuni ebrei, è segnalato alla Gestapo. La polizia politica irrompe nell’appartamento, ma non trovando il capofamiglia brutalizza il ragazzo, appena diciassettenne, per farlo confessare. È uno choc che gli cambierà la vita. I lunghi cappotti di pelle della Gestapo che fluttuano nella stanza continueranno ad affiorare negli anni nella psiche del ragazzo, e diventeranno poi la sua veste abituale, anche da adulto.