Vēlāk strādāja OKW (Oberkommando der Wehrmacht) Berlīnē. 1941./42. gadā viens no galvenajiem operācijas "Valkīra" izstrādātājiem. Formāli operācija bija paredzēta iekšējo nemieru apspiešanai, tomēr faktiski tika paredzēta varas pārņemšana valstī. 1943. gadā pieņēma dienestā Klausu fon Štaufenbergu. 1944. gada 20. jūlijā fon Štaufenbergs ievietoja spridzekli Ādolfa Hitlera mītnē Wolfsschanze Prūsijā pie Rastenburgas. Atentāts tomēr neizdevās, bet Hitleram lojālie spēki nezaudēja kontroli pār situāciju. Olbrihts kopā ar Štaufenbergu tika sodīts ar nāvi naktī uz 21. jūliju viņa darba vietā Bendlerblock ēkā Berlīnē.