El castillo de Fumel domina el río Lot. La fortaleza original, que vigilaba la frontera entre Quercy y Agenais, fue transformada por los señores de Fumel durante los periodos renacentista y clásico. En la actualidad, el castillo alberga el ayuntamiento. Las terrazas floridas y el parque contiguo están abiertos a los visitantes.