Erdei Zsolt háromgyerekes édesapa – legidősebb fia, Viktor, aki még az első házasságából született, 18 éves, két kisebb gyereke pedig, Gréti és Vilmos, 11, illetve 8 évesek, és ahogy, arról az ökölvívó már korábban is őszintén vallott, speciális nevelési igényűek. Grétinél, aki 2014-ben született, autizmust diagnosztizáltak, a 2017-ben született Vilmosnál pedig figyelemhiányos hiperaktivitás-zavart (ADHD).
Gréti és Vilmos mindketten koraszülöttek voltak, Gréti mindössze 920 grammal született a terhesség 27. hetében, Vilmos pedig 1480 grammal a 29. héten. Bár azóta szerencsére mindketten jól vannak, és nagyjából sikerült behozniuk a lemaradásukat kortársaikhoz képest, Madár elismerte, hogy nem mindig könnyű velük, különösen a kislányával, aki autista.