En 1976, Agnès Le Roux, tout juste divorcée, revient à Nice après avoir vécu en Afrique. Sur place, elle tombe sous le charme de Maurice Agnelet, l'homme de confiance de sa mère Renée, propriétaire du casino Le Palais de la Méditerranée. Alors qu'Agnès se consume d'amour, lui continue à avoir des aventures. Manipulée par Maurice, Agnès veut sa part de l'héritage et accepte la proposition de 3 millions de francs de Fratoni, un mafieux local. En échange, elle doit voter contre sa mère au prochain conseil d'administration. Une décision qu'Agnès va regretter. Maurice finit par la quitter. Elle tente de se suicider et disparaît à la Toussaint 1977... L'Homme que l'on aimait trop rejoue le mystère autour de la disparition en 1977 d'Agnès Le Roux, héritière de l'hôtel-casino le Palais de la Méditerranée de Nice.
