La fundació del castell de Sant Martí Sarroca és atribuïda als romans, i ho demostra els trossos de parets amb el material ja petrificat, amb teules d'enterrament romanes, amb alguna moneda trobada de Juli Cèsar, trossos de morters i de columna, tot romà, també per ésser els continuadors dels ibers i a més per la defensa en les lluites que entre ells tingueren.
La veritat és, que guarda poca cosa del seu naixement, diu Rovira i Virgili en la seva història de Catalunya, tom III, que quan van ésser expulsats els moros del castell es retiraren a Pontons formant un gran nucli que arribava a la Sagarra, quedant el castell situat en el lloc més perillós de la frontera i més apartat i exposat a contínues lluites i expurgacions d'aquest gran nucli.
El mateix autor diu en el mateix tom que les incursions contra aquest castell eren a diari i que varen durar fins l'any 1139 que Ramon Berenguer IV reconquista aquelles aspres terres de Pontons, que pertanyien a Guillén d'Odena establint-hi un convent de frares Templers, per defensar-se si convenia, i en la seva companyia tornar-les a repoblar de pagesos.
Conjunt monumental de Sant Martí Sarroca