L’église Saint-Martin est édifiée au 12e siècle sur un site très anciennement occupé, notamment par un ancien monastère du 6e siècle. Elle coexiste avec l’église Saint-Hilaire détruite en 1888. Quelques vestiges de l’église Saint-Hilaire peuvent encore être observés rue Saint-Hilaire. La présence de ces deux églises témoigne de l’ancien partage de Cournon en deux paroisses dépendant de deux seigneurs distincts : une première autour de l’église Saint-Martin et de son cimetière, possession de l’évêque de Clermont, et une seconde autour de l’ancienne église Saint-Hilaire, sous l’égide du seigneur laïc.
L’église Saint-Martin illustre les principales caractéristiques du style roman, comme la basilique Notre-Dame-du-Port à Clermont-Ferrand : recours à l’arkose blonde, voûtement en berceau, présence à l’extérieur comme à l’intérieur de l’arc plein cintre, chœur entouré d’un déambulatoire à chapelles rayonnantes, massif barlong et bas-côtés surmontés de tribunes pour le contrebutement des voûtes.
Cette église connaît plusieurs phases de restauration aux 18e et 19e siècles : réédification du clocher, construction d’une chapelle au sud et modification de la façade occidentale par l’architecte Hugues Imbert (1802-1876), auteur de l’église Saint-Eutrope à Clermont-Ferrand et de l’église Saint-Martin à Ceyrat.
L’église est classée Monument Historique depuis 1912. En 2003, un programme de restauration met en lumière, entre autres, des peintures murales du 14e siècle et des putti (angelots) peints aux 17e et 18e siècles.