Fehn mottok tidlig viktige impulser fra sin lærer Arne Korsmo. En reise til Marokko i 1952-53 gav et møte med en basal arkitektur som ble grunnleggende for Fehn. I 1953-54 oppholdt han seg i Paris, hvor han arbeidet og studerte hos den viktige franske arkitekten Jean Prouvé samtidig som han ble kjent med Le Corbusiers arbeider. Slik fikk Fehn tidlig en internasjonal orientering og så sammenhengen mellom tidens mest sofistikerte byggekunst og de slitesterke sannheter i den folkelige byggemåte.
Fehn og Geir Grung fikk sitt gjennombrudd i 1955 med det modernistiske Økern aldershjem. Sammen med sju andre unge arkitekter og den eldre Arne Korsmo hadde de tre år tidligere dannet gruppen PAGON (Progressive Arkitekters Gruppe, Oslo, Norge), som kjempet for ny, modernistisk arkitektur.
34 år gammel var Fehn arkitekt for den norske paviljongen til Verdensutstillingen i Brussel i 1958. Etter Brussel-paviljongen fulgte to arbeider på 1960-tallet som har blitt stående som høydepunkter i Fehns karriere: Den nordiske paviljongen i Biennaleparken i Venezia og Hedmarksmuseet på Domkirkeodden på Hamar. Hedmarksmuseet er Fehns hovedverk. Med det beveger han seg bort fra den rene modernismen og skaper sitt personlige arkitekturunivers.
På 1970-tallet tegnet Fehn døveskolen på Skådalen i Holmenkollåsen, et større anlegg brutt ned i mange bygninger som er plassert med stor følsomhet i det skrånende terrenget. I de senere årene tegnet Fehn en rekke museer som har fått stor anerkjennelse: Norsk Bremuseum (1991) i Fjærland, Aukrust-senteret (1996) i Alvdal, Ivar Aasen-senteret (2000) i Ørsta og Norsk museum for fotografi (2001) i Horten.
Fehn tegnet en rekke glimrende eneboliger, og en av dem, Villa Busk (1990) i Bamble, ble fredet kort tid etter at den sto ferdig. Fehn gjorde seg også bemerket som formgiver av utstillinger, særlig hans to vakre utstillinger på Høvikodden – middelaldersk kirkekunst i 1972 og kinesiske terrakottasoldater i 1985 – huskes for sin orginalitet. Noen av Fehns mest nyskapende bidrag har ofte vært konkurranseutkast, mange av dem førstepremier. Dessverre er bare et fåtall av dem realisert.
Fehn fikk sitt endelige internasjonale gjennombrudd med tildelingen av Pritzker Architecture Prize, som er verdens viktigste arkitekturpris, og Heinrich Tessenow-medaljen i gull i 1997. Sverre Fehn hadde en meget poetisk og uvanlig verbal uttrykksevne og var en meget god tegner. Fehn var professor ved Arkitekthøgskolen i Oslo fra 1971 til 1995. Han er æresmedlem av det norske, finske, skotske, britiske og amerikanske arkitektforbundet og av de kongelige akademiene i København og Stockholm. I 1993 mottok han gullmedalje fra det franske arkitekturakademiet, og i 2001 ble han som førstemann tildelt Grosch-medaljen. Han ble også kommandør av St. Olavs orden i 1994.
Sverre Fehns siste arbeider var kontorhuset for Gyldendal forslag (2007) og Arkitekturmuseet (Nasjonalmuseet - Arkitektur) i 2008, begge i Oslo.