Dzimis 1838. gadā Kuldīgā, ebreju izcelsmes[1] ārsta Jūlija Davidova un viņa sievas Dorotejas, dzimušas Mihalovičas, ģimenē. 1840. gadā viņa tēvs ieguva darbu Maskavā, uz kurieni pārcēlās visa ģimene. 1858. gadā viņš beidza Maskavas universitāti un ieguva matemātikas zinātņu kandidāta grādu. Pēc tam mācījās mūziku Leipcigas konservatorijā pie Morica Hauptmaņa. No 1862. līdz 1887. gadam dzīvoja Sanktpēterburgā. 1870. gadā mecenāts grāfs Vielgorskis Davidovam uzdāvināja Stradivāri gatavotu čellu.[2]
1888. gadā Davidovs atgriezās Maskavā, kur mira 1889. gadā.