La tradition locale a longtemps attribué la construction du palais au vicomte de Turenne Raymond IV. L'ouvrage d'Henri Ramet, paru en 1920, l'a fait évoluer en faveur d'un Bernard Raymundi, fils de Raymond IV, qui aurait fait fortune en qualité de receveur général des impôts en Poitou, Limousin et Gascogne : commencé vers 1280, l'édifice aurait été achevé vers 1330 par son gendre Pierre Stéphani, Bernard Raymundi étant décédé en 1318. Outre qu'il ne pourrait s'agir que de Raymond VI, l'attribution proposée par H. Ramet repose sur une note du fonds Lacabane (aux Archives départementales du Lot ?) qui n'a jamais été vérifiée, et qui serait en contradiction avec les documents collectés par L. de Valon (1912-1913) qui relève en particulier que d'après certaines sources les Stéphani se seraient titrés "seigneurs de la Raymondie" dès 1297 et auraient peut-être tenu l'édifice dès 1262, et surtout qu'en 1329, les héritiers de feu Bernard Stéphani possédaient "l'hôtel neuf de la Raymondie". L'hôtel appartient à Pierre Stéphani, seigneur de la Raymondie et de Gigouzac, en 1350, et les Stéphani puis les Stéphani de Valon hommagent au vicomte de Turenne pour la Raymondie en 1362, vers 1421 et vers 1445 (L. de Valon, 1913, p. 268 ; T. Pataki, 1987).£La construction, les formes et le décor sculpté montrent une grande homogénéité qui indique un chantier mené rapidement, et donc, en fonction des informations dont nous disposons, dans les années 1320, l'hôtel "neuf" pouvant être achevé en 1329 ; le commanditaire, Bernard Stéphani, avait épousé en 1290 une Belcastel qui lui apporta en dot les droits que sa famille possédait sur la Raymondie (L. de Valon, 1913, p. 239), Les analyses de dendrochronologie de l'une des charpentes par P. Hoffsummer ont cependant donnée la date de 1332 (Digital Collaboratory for Cultural Dendrochonology :
http://dendro.dans.knaw.nl/search/q/martel, 408/01).£Au début de la guerre de Cent ans, les consuls obtiennent que la Raymondie puisse servir de dernier refuge à la population de la ville (L. de Valon, 1913, p. 243).£La tour d'escalier en vis installée dans l'angle nord-est de la cour semble bien appartenir à une importante campagne de travaux du 16e ou du 17e siècle, au cours de laquelle les galeries sur cour ont été modifiée pour l'une et supprimée pour l'autre. H. Ramet a donné une liste des propriétaires successifs de la Raymondie, dont la commune prend à ferme une partie à la fin du 18e siècle puis l'acquiert après la Révolution. Les fenêtres de la Raymondie figurent dans l'ouvrage de Verdier et Cattois en 1857, et l'édifice est classé Monument historique en 1906. Une première campagne de restauration intervient avant 1920, puis les travaux des années 1935, 1944 et 1947-1948 aboutissent à la reconstitution de la majeure partie de la façade principale sur la rue Senlis. Plusieurs campagnes de travaux se sont succédé depuis 1950, la plus récente a porté sur la restauration de la voûte du premier étage de la tour.
