Durch wiederholte Zerstörung der Stadt und geringe Wertschätzung der alten Bausubstanz gingen schon im 19. Jahrhundert viele stadtbildwirksame Gebäude und Flächen verloren. Weitere historische Gebäude gingen im Zweiten Weltkrieg und während des nachfolgenden Wiederaufbaus verloren.
Das wohl wichtigste historische Bauwerk der Stadt ist heute die St.-Nikolai-Kirche mit ihren charakteristischen Holzeinbauten im Stil der Walfangepoche – beim Eintreten glaubt man sich im Unterdeck eines Walfängers zu befinden. Im Seitenschiff hängt ein Segelschiffsmodell. Die während des Dreißigjährigen Kriegs zerstörte Kirche wurde 1660 wieder aufgebaut und am 7. Trinitatissonntag des folgenden Jahres noch turmlos eingeweiht. 1733 wurde die Neue Kirche angebaut, am Wedekamp (dem heutigen Probstenfeld) wurde ein Kirchhof angelegt. Der Kirchturm wurde erst 1881/82 errichtet. Nach einem umfassenden Umbau und Renovierung wurde die Nikolai-Kirche am 23. Februar 1913 nochmals geweiht.
Für die evangelische Thomaskirche schuf Charles Crodel 1964 die Glasmalereien.
Der Wasserturm von 1902 ist heute in Privatbesitz und beherbergt eine Kerzenzieherei und ein Cafe.
Weitere historische Bauten sind das Möhringsche Haus, in dem die Stadtbücherei untergebracht ist, das Fachwerkgebäude des Hotels Drei Kronen, das Restaurant Mercator und einige wenige Häuser aus dem 18. Jahrhundert, vornehmlich in den Straßen Sandberg und Klostersande.
Das Torhaus war ursprünglich das Kontorgebäude einer Lederfabrik und konnte 1974 nur durch eine zufällige Mehrheit im Stadtverordnetenkollegium vor dem Abriss gerettet werden.
Das renovierte Gebeinhaus auf dem jüdischen Friedhof wird als einziges noch erhaltenes Gebäude der vor den nationalsozialistischen Judenvernichtungsmaßnahmen 80 Angehörige zählenden jüdischen Gemeinde Elmshorns als Außenstelle des Industriemuseums genutzt.