Senās Romas laikā Brestā atradās cietoksnis, bet 12. gadsimtā tā vietā tika uzcelta pils. 1611. gadā Francijas kardināls Rišeljē nolēma izveidot Francijas floti, kuras galvenā bāze tika izveidota Brestā. Otrā pasaules kara laikā Vērmahts tur izvietoja zemūdeņu bāzi. 1944. gadā pilsēta tika stipri izpostīta.