Dzimis 1826. gadā kā septītais bērns zemnieku ģimenē. Mācījās Vīlandes pilsētas skolā, pēc tam strādāja pie daiļkrāsotāja Cēsīs, kur tika pamanīts Kēlera gleznotāja talants. Ar Cēsu pilsmuižas īpašnieka Emanuela fon Zīversa finansiālu atbalstu Kēlers studēja Pēterburgas mākslas akadēmijā. No 1857. līdz 1861. gadam viņš ceļoja pa Rietumeiropu un Itāliju.
No 1862. līdz 1874. gadam viņš bija Krievijas Impērijas ķeizara Aleksandra II meitas Marijas Aleksandrovnas zīmēšanas skolotājs, līdztekus no 1869. līdz 1870. gadam arī akadēmijas pasniedzējs.
No 1886. līdz 1889. gadam Kēlers strādāja ārzemēs, pēc atgriešanās dzimtenē no 1891. līdz 1893. gadam bija Igauņu literātu biedrības (Eesti Kirjameeste Selts) prezidents.