1903. gadā kļuva par Starptautiskās Olimpiskās komitejas locekli, bija viens no Beļģijas Olimpiskās komitejas dibinātājiem. Tāpat bijis viens no 1920. gada vasaras olimpisko spēļu Antverpenē organizatoriem. Bajē-Latūrs par Starptautiskās Olimpiskās komitejas prezidentu tika ievēlēts 1925. gadā, kad Pjērs de Kubertēns kļuva par goda prezidentu. Amatā atradās līdz pat nāvei 1942. gadā, par jauno SOK prezidentu tika ievēlēts toreizējais viceprezidents zviedrs Sīgfrids Ēdstrems.