Dins la vila. El nucli emmurallat medieval
A partir dels segles V i VI dC, la inseguretat del litoral va afavorir que s'establissin poblaments a l'interior. Així va néixer Vila-seca, avui incorporat al nucli urbà, Santa Margarida i Ermedàs. Palafrugell, un nom d'origen antroponímic –Palau significa casa forta i Frugell designa un nom propi d'arrel germànica–, va néixer segurament com a lloc fortificat de defensa.
La referència més antiga del municipi la trobem en un document de l'any 988 que es conserva a l'Arxiu de la Catedral de Girona on una dona que es deia Ermengarda donava les seves propietats situades a Palau Frugell al monestir de Sant Pere de Galligants de Girona. Segurament al segle XIII va construir-se una primera muralla sobre un petit turó, d'uns vuitanta metres d'altitud, que delimitava els actuals carrers Pi i Margall, Cavallers, dels Valls –on probablement hi havia un fossat– i plaça Nova. Al recinte, s'hi accedia per dos portals –el Portal d'Amunt, al carrer dels Valls, i el Portal d'Avall, davant del Raval Inferior– que donaven accés al carrer principal del recinte, el carrer Major, nom que encara es manté avui.
Al centre del nucli hi havia la plaça de l'Església, plaça pública del poble fins que va construir-se la plaça Nova a finals del segle XVIII, i l'església de Sant Martí, edificada entre el 993 i el 1019. El temple parroquial, de dimensions molt més modestes que l'actual, va ser objecte de diverses obres i ampliacions, com la del segle XV o la del segle XVIII, quan es va construir la Capella Fonda i el mestre de cases bisbalenc Joan Ranté va projectar l'actual campanar, de planta quadrada i cos octogonal, que va restar inacabat i que ha esdevingut un dels elements identificatius de la vila.
Fora del nucli emmurallat van aparèixer altres hàbitats. A l'interior, el nucli rural de Llofriu s'esmenta l'any 1062 (Lofrid), com a possessió del comte de Barcelona Ramon Berenguer I, i la seva església de Sant Fruitós, el 1121. A la costa, la por al mar va ser la responsable que els barris que s'hi van establir fossin temporals fins al segle XVIII. Tamariu apareix documentat l'any 1039 i Calella i Llafranc, en el capbreu del monestir de Santa Anna de 1339-1345.
L'any 1194 el rei Alfons I el Cast, rei de Catalunya i Aragó, va cedir els termes de Palafrugell i Mont-ras a l'ordre dels Cavallers del Sant Sepulcre; l'any 1250 es va formalitzar la cessió al Priorat de Santa Anna de Barcelona, de l'esmentat ordre. Aquesta institució eclesiàstica va ser fins a les desamortitzacions fetes durant la Revolució Liberal el principal senyor de les terres que conformen el municipi actual, per bé que hi va haver altres senyors eclesiàstics i laics amb possessions en el terme.
El pas del temps ha esborrat gairebé la totalitat del passat arquitectònic medieval de la població. L'any 1816, acabada la guerra del Francès, van començar les obres de demolició de les torres i gairebé un segle després, el 1908, va caure l'última, la torre de Can Moragues. En l'actualitat tan sols es conserva un traçat irregular de carrers estrets i cases remodelades entre l'església de Sant Martí i plaça Nova, una zona que els palafrugellencs encara anomenen dins la vila.
