Un padre inglese, James Frederic, di cui si sa ancora poco, ma secondo i racconti dell’artista, uomo colto, cosmopolita e appassionato di arte e di musica, sebbene irrimediabilmente alcolista, una madre fiamminga, Marie Catherine Louise Haegheman, ostile all’attività creativa del figlio, e una sorella minore, Marie Caroline Emma, soprannominata “Mitche”, che sposerà un uomo di origine cinese che l’abbandonerà molto presto: questa la famiglia di James Ensor. E una nonna materna alla quale l’artista era molto legato, che viveva con loro e gestiva un negozio di curiosità, conchiglie, maschere, “bibelots”, e oggetti importati dall’Oriente.
Anche i genitori di Ensor, uno zio, Léopold, e una zia, Maria Ludovica, aprirono altrettanti negozi di souvenir, a Ostenda e Blankenberghe, sempre sulla costa. L’essere circondato da tanti oggetti esotici e stravaganti contribuirà notevolmente a nutrire l’immaginazione già molto feconda del giovane James, che da adulto andò a vivere nella casa di uno zio, in rue de Flandre, dove attualmente si trova la casa museo a lui dedicata. Diciassettenne appassionato al disegno e alla pittura, insieme a Willy Finch (1854-1930), che frequentava Ostenda dove i genitori possedevano un hotel di lusso (Cercle du Phare), Ensor decise di iscriversi all’Accademia di belle arti di Bruxelles. Tuttavia, l’Accademia si rivelò subito una delusione per i due ragazzini che preferivano di gran lunga recarsi sulle dune, per osservare la luce o il mare, o lavorare insieme nello studio di Ensor.
All’Accademia Ensor fece degli incontri importanti: il coetaneo e raffinato Fernand Khnopff (1858-1921), che diverrà presto un antagonista e Guillaume van Strydonck (1861-1937), mentre nell’atelier di Camille van Camp conobbe Théo Hannon (1851-1916), fratello di Marie Rousseau, moglie di Ernest Rousseau (1831-1908), fisico e rettore dell’Università di Bruxelles (1884-1887). Hannon, che diventerà il suo migliore amico, fu il fondatore del primo circolo di avanguardia in Belgio, la Société libre des Beaux-Arts (1868), alla quale aderirono anche Félicien Rops, Constantin Meunier (1831-1905) e Charles de Groux (1825-1870).