Dzimis kalnu inženiera ģimenē. 1842. gadā iestājās Politehniskajā skolā (École Polytechnique), tomēr fiziskas nepilnības dēļ (Ermits kopš bērnības bija klibs) iesākumā to nebeidza. Vēlāk, jau būdams pazīstams matemātiķis, šajā skolā strādāja par pasniedzēju.