Kyrkan och residenset samt några trähus vid Residensgatan finns bevarade från tiden före branden 1834. Av speciellt intresse för tidsepoken utgör de låga trähusen ut med Drottninggatan som är representativa för den låga trähusbebyggelsen som växte fram efter branden. Utmed Kronogatan ligger enklare trähus i en till två våningar byggda direkt efter branden fram till sekelskiftet 1900. Det finns också enstaka trähus bevarade som ligger insprängda i den övriga kvartersbebyggelsen.

Efter branden byggdes det också stenhus. Cellfängelset som idag innehåller bostäder har ett framträdande läge i stadsbilden. Vid sidan av residenset ligger ”Malmska huset” som har en stilfull arkitektur. Det före detta stadshuset och stadshotellet visar sin klassicerande fasad mot Plantaget.

Perioden 1870-1929 speglar årtiondena före och efter sekelskiftet 1900. Många intressanta stenhus byggs i staden. Flera banker exponerar sina bankpalats ut mot torget och Plantaget. Värmlandsbankens hörnhus i nationalromantik är fortfarande en av stadens höga och starkt profilerade byggnader. Riksbankshuset, museet och före detta flickskolan vid Vallgatan har alla klassicerande fasader och de ligger fristående från omgivande byggnader. Flera av fabriksbyggnaderna i den före detta skofabriken är också byggda runt sekelskiftet 1900.

I den södra delen av staden byggs flera landshövdingehus som karaktäriseras av en bottenvåning i sten och två trävåningar. En bostadstyp som var vanligt förekommande i Göteborg. På Norra gatan i kvarteret Linden byggs det putsade tegelhus i tre våningar inspirerade av nationalromantik och 20-talets klassicism. I övre delen av Residensgatan finns exempel på stora påkostade villor som ligger mitt i stora vackra trädgårdar. Flera av villorna är inspirerade av jugendarkitekturen vid sekelskiftet.

Det funktionalistiska byggandet som slog igenom på 1930-talet finns också i företrätt i den traditionella kvartersstaden och många av villorna i stadens norra del är uppförda i början av 1930-talet. Efterkrigstiden är ett expansivt skede för byggande i Vänersborg precis som i övriga Sverige. Stora raka byggnadskroppar är utmärkande för tidsperioden. I kvarteren Apeln och Alen finns olika exempel på friliggande lameller i nord-sydlig riktning.

Varuhusbyggena med EPA och Domus kommer på 1960-talet. Båda dessa med Domus på Edsgatan och EPA på Drottninggatan inordnades i befintlig byggnadsstruktur och visserligen revs gamla fina trähus men båda uppfördes runt befintliga äldre byggnader. Domus byggdes i kvarteret Näckrosen med likartade kopparfasader både mot Edsgatan och Kungsgatan.

Mest utmärkande för byggandet under 1970-talet är de tre stora institutionerna med länsstyrelsen, kommunen och landstinget (idag Västra Götalandsregionen) som bygger nya stora kontorskomplex. De ligger som ett diagonalt stråk i staden. Det är storskaliga byggen som tar större delen av kvartersmarken i anspråk men höjderna följer den småskaliga staden. Tegel i olika kulörer används.

De senaste 25 årens byggande är utspritt över staden. I kvarteret Flädern byggs småskaliga trähus i en till två våningar som även får gårdshus som placeras så att smala gränder skapas som entréer till bostäderna.
Bostäder inreds i byggnader som uppförts för andra ändamål. Cellfängelset och före detta Riksbankshuset byggs om till bostäder. Fabriksområdet får också annan användning och flera butiker etablerar sig i den forna industrimiljön.