C'est sous les ors du palais de Madrid que nous rencontrons le jeune Victor, âgé de 9 ans, et ses deux frères, Abel (12 ans) et Eugène (10 ans). Pour suivre le général Hugo au service de la cour du roi Joseph-Napoléon Ier, toute la famille a rejoint la capitale espagnole. Mais ce quotidien fastueux est de courte durée... Premier coup de tonnerre : le général demande le divorce ! Deuxième coup de tonnerre : il a décidé d'envoyer ses fils en pension dans le sinistre collège des Nobles.
Du jour au lendemain, ils doivent oublier leurs douces années parisiennes, où jeux dans le jardin et cours à domicile rythmaient le quotidien. C'est aux sombres dortoirs d'un couvent et à la tyrannie des religieux qu'ils vont devoir s'accoutumer. Ainsi s'oppose la largesse d'esprit de leur mère, toujours soucieuse d'inculquer à ses enfants le libre choix, et l'autorité despotique de leur général de père.