Saint-Valery-sur-Somme est riche d'un patrimoine architectural ancien toujours visible. Vers 1756, la carte de Cassini montre deux agglomérations bien séparées : Saint-Valery-sur-Somme, derrière son enceinte, et la Ferté, autour du port. De même, le cadastre napoléonien montre qu'en 1832, une très grande partie de la population vit principalement le long de la baie de Somme, dans la Ville-Haute et la Ville-Basse. Au sud de la commune, l'écart de Ribeauville rassemble quelques habitants, de même que nous notons la présence de fermes isolées : au Cap Hornu, à la Croix l'Abbé, Tivoli, Rossigny. Près de la gare actuelle se concentraient les chantiers de construction navale, ce qui valait à ce faubourg l'appellation de 'Chantier'. Des corderies, anciennement situées sur les hauteurs de la Ferté, témoignaient de l'importance de cette activité maritime. Face au port, un entrepôt aux sel est construit vers 1734-1737. Les édifices religieux assurent l'exercice du culte dans chaque quartier : l'église paroissiale Saint-Martin est établie derrière les murs de la Ville-Haute, le quartier des pêcheurs possède une chapelle Saint-Pierre, construite sur les hauteurs, et une chapelle des marins est construite près du Cap Hornu. Un château défensif fondé au 9e siècle occupait l'angle sud-ouest de la Ville-Haute (source : Delattre). Une abbaye, dont il ne subsiste que le logis (vers 1742) , quelques pans de l'édifice religieux (13e) et le logis de l'abbé (ou maison Fénélon, fin 15e) , était construite hors-les-murs, entre la Ville-Haute et le Cap-Hornu. Vendu comme bien national à la révolution, l'édifice est démoli les années suivantes. Un hôpital est lui aussi construit hors les murs, entre la Ville-Haute et le Romerel. Sur la place des Pilotes, un tribunal de commerce est construit en 1870 par Louis Daullé. Sur les proéminences de la ville, des moulins à vent, visibles sur la carte de Cassini, étaient implantés sur la 'Butte aux moulins'. La ville est aussi riche d'un habitat ancien, dans la Ville-Haute et la Ville-Basse, où l'on trouve des maisons de pêcheurs, notamment au Courtgain, et des maisons de notables, le long du Quai Perrée. La ville connaît une évolution fonctionnelle et structurelle à la suite de l'apparition des bains de mer. Depuis les années 1830, une relation maritime trans-manche assure le transport de marchandises et de quelques touristes : une société est mise en place pour relier Londres à Abbeville par Saint-Valery, grâce au vapeur l'Eclipse (source : A.D. Somme, 4 J 123). Par ailleurs, à partir de 1847, les voyageurs effectuant la liaison Paris-Boulogne par voie ferrée peuvent s'arrêter à la gare de Noyelles-sur-Mer. A cette époque, l'activité de chasse à la hutte dans la baie de Somme attire de nombreux voyageurs qui s'adonnent aussi à une seconde activité à la mode, les bains de mer. Des bains sont aménagés dans la commune au début des années 1850, au pied de l'enceinte urbaine : nommés les 'bains de la ville', ils sont mis en adjudication par la municipalité en 1854 avec obligation d'aménager les ruines de la Tour Harold en salon pour les baigneurs. En 1857, un second site est exploité en face du port : les 'bains de la Ferté'sont établis grâce à la souscription de 92 personnes (source : A.D. Somme, 99 O 3447). Cette activité balnéaire s'accroît à la suite de l'arrivée du train à Saint-Valery-sur-Somme en 1858, qui assure le transport direct des voyageurs parisiens. Ces pratiques balnéaires et l'économie touristique qu'elle induit sont alors un complément d'activité pour la population locale. En effet, depuis le 16e siècle, le port s'envase (source : Demangeon) , réduisant significativement le trafic commercial, puis l'entrée des bateaux de pêche dans le port. De façon naturelle, le chenal s'oriente vers Le Crotoy, située en face de Saint-Valery. Dès 1783, des travaux sont envisagés pour maintenir le cours de la Somme sous la ville de Saint-Valery (source : Demangeon) , sans véritable effet. Au début du 1 9e siècle, une digue de halage longue de deux kilomètres est construite entre Saint-Valery et Le Hourdel avec trois estacades en bois. Une digue submersible (digue Pinchon) fortifiait le jusant au delà. La ville connaît surtout un développement urbain au bord de la Somme quand dans les années 1880, l'Administration des Domaines lotit des espaces de marais situés entre la digue construite au milieu du 19e siècle et le pied de l'enceinte. Des hôtels de voyageurs sont établis dans d'anciennes habitations, au pied de la vieille ville, et quelques maisons de villégiature sont construites le long de la baie, au sein du quartier du Romerel. Un casino municipal destiné à distraire les baigneurs est établi le long de cette même digue. Les maîtres d'oeuvre des maisons sont surtout des Franciliens, originaires de Paris, mais nous notons aussi la présence de commanditaires demeurant le reste de l'année dans les villes proches, du Nord de la France : Lille Compiègne, Boulogne, Amiens et Abbeville (source : matrices cadastrales). Outre les bains, les touristes sont attirés par l'ambiance médiévale qui se dégage de la ville. Les excursions à pied ou en bateau sont parmi les occupations les plus fréquentes : le remorqueur 'Le Picardie'qui avait pour mission de guider les bateaux dans le port de Saint-Valery assure en plus des promenades pour les touristes. Au cours de la Première Guerre mondiale, les activités touristiques sont interrompues : un régiment de tirailleurs sénégalais et de belges s'installe dans la commune, des hôpitaux temporaires sont aménagés dans le casino et à l'école Notre-Dame. Le 20 avril 1917, le Prince de Galles effectue une inspection dans la ville et déjeune à la Colonne de Bronze (source : Minotte). Au cours de la Seconde Guerre mondiale la commune aurait subi 11, 5% de destructions (source : A.D. Somme, 26 W 193). L'activité des bains de mer ne se pratique plus de nos jours, les lieux étant devenus impraticables. La ville bénéficie par contre d'un grand attrait touristique.
