Situé sur une colline au nord-est de Marmande, escassefort est le siège au Moyen Âge d’un prieuré bénédictin.
Le territoire de la commune est probablement occupé depuis des temps très anciens, comme l’attestent plusieurs découvertes archéologiques, En effet, à 1,5 kilomètre au sud-ouest du village, au lieu dit La Potence, des haches polies, des monnaies de diverses époques, ainsi qu’une urne funéraire remplie d’ossements sont mis au jour. Au nord du cimetière, des sarcophages sont également découverts au XIXe siècle, mais on ne peut définir leur provenance mérovingiennes ou romane.
En outre, à partir du XIe siècle, escassefort est le siège d’un prieuré bénédictin. Il appartient à l’ordre de saint Benoît dépendant de l’abbaye de la Sauve. En raison de son emplacement stratégique, il est fortifié en 1130.
La ville décide ensuite de construire un château à proximité de l’église. La garde en est confiée à des chevaliers. Mais la proximité de ces hommes d’armes inquiète l’abbé qui craint pour la discipline de ses moines. A l’époque de l’abbé Rannoux (1236-1245), on sépare donc l’église du reste du château par un mur et les chevaliers doivent promettre de ne pas gêner les religieux.
D’autre part, le prieuré est durement touché par la guerre de Cent ans. Reconstruit en 1463, il est de nouveau mis à mal pendant les guerres de Religion. Aujourd’hui, si l’on distingue encore les substructions d’une enceinte et les lourds contreforts rectangulaires autour de la partie centrale du bourg et de l’église du XVe siècle, on ne relève aucune trace du château féodal.
La vigne est cultivée sur le territoire communal et on y produit du vin bénéficiant de l’AOC « Côtes du Marmandais »