Dzimis bagātu rūpnieku ģimenē. 1905. gadā iestājās Impērijas flotē (Kaiserliche Marine). Pirmā pasaules kara laikā dienēja uz vieglā kreiseraSMS Dresden. 1915. gadā krita gūstā Robinsona Krūzo salā, kad pēc kaujas ar britu kuģiem komanda SMS Dresden nogremdēja. Augustā izbēga no gūsta un spēja atgriezties Vācijā. Kara turpmākajā gaitā komandēja zemūdeniVidusjūrā.
Iesākumā būdams Hitlera atbalstītājs, ap 1938. gadu Kanariss sapratis, ka esošais kurss ved uz katastrofu. Kanariss, pulcējot ap sevi pret nacistiem kritiski noskaņotus virsniekus un uzturot kontaktus ar britu izlūkdienstu MI6, centās vājināt Hitlera varu. 1944. gada februārī Hitlers Kanarisu atcēla no amata, par Abvēra priekšnieku ieceļot Valteru Šellenbergu. Dažas nedēļas vēlāk Kanarisam tika piemērots mājas arests, un viņš nespēja aktīvi piedalīties 20. jūlija sazvērestībā. Pēc sazvērestības sakāves Kanariss tika notiesāts uz nāvi un 1945. gada 9. aprīlī nogalināts kopā ar Dītrihu Bonhēferu un citiem režīma pretiniekiem.