Su nombre es un misterio, transmitido de generación en generación de boca en boca. Se puede traducir del occitano como «Torre del Papa», lo que significa que fue construida con el dinero del Papa, del que se beneficiaron en gran medida los señores de Villemur. Vestigio único del sistema defensivo de la ciudad, destruida en 1631 por orden del rey Luis XIII, la Tour Papou formaba parte de las fortificaciones del castillo fortificado erigido en el emplazamiento de la actual plaza de la voie.
Seis siglos después, la torre sigue en pie, o al menos lo que queda de ella. Puede descubrirla siguiendo la visita autoguiada que ofrece la Oficina de Turismo, o en una visita guiada organizada.
