Vadoties pēc musulmaņu avotiem, it īpaši pēc šiītu avotiem, Alī ir vienīgā persona, kas dzimusi musulmaņu svētajā vietā Kaabā.[3] Saskaņā ar tradīciju Alī kļuva par otro cilvēku, kas pievērsās islāmam (pirmā bija Muhameda sieva Hadīdža).[3] Viņš islāmam pievērsās 10 gadu vecumā.
Laulībā ar Muhameda meitu Fātimu viņam bija trīs dēli (Huseins, Hasans un Muksīns, kurš nomira bērnībā), kā arī divas meitas (Zainaba un Umma Kulsūma). Pēc Fātimas nāves Alī apprecējās vēl 8 vai 9 reizes, un šajās laulībās bija vēl vairāki bērni.
Alī dzīve, kas galvenokārt aprakstīta sunnītu un šiītu tekstos, tiek dalīta vairākos dažādos periodos, kuriem raksturīgi kādi noteikti notikumi. Viņa vecāki bija Abū Tālibs un Fātima bint Asada. Alī ir dzimis radžāba mēneša trīspadsmitajā dienā, tas ir, 601. gada 15. septembrī. Daudzos avotos, it īpaši šiītu rakstos, Alī tiek minēts kā vienīgais cilvēks, kurš dzimis Kaābā. Piecu gadu vecumā Alī bin Abī Tālibu sāka audzināt Muhameds un viņa sieva Hadīdža, jo Alī tēvs kļuva nabadzīgs un nespēja vairs nodrošināt savu ģimeni. 10 gadu vecumā Alī pievērsās islāmam un tradicionāli viņš tiek uzskatīts par otro šādu personu aiz Muhameda sievas Hadīdžas.