Los orígenes de Bergerac se remontan a la existencia de un castillo, construido a finales del siglo XI a orillas del Dordoña, que atrajo a una población hasta entonces dispersa por la llanura.
La ciudad castillo se convirtió un siglo más tarde en lugar de paso de viajeros, peregrinos y comerciantes. La construcción de la iglesia de Saint Jacques y de un hospital confirmó esta expansión. En el siglo XIII, el desarrollo de la viticultura y el crecimiento del comercio llevaron a la construcción de un puente sobre la Dordoña. En el marco del movimiento municipal, la ciudad adquiere libertades y franquicias que harán su fortuna, ya que ahora puede exportar sus vinos. La aglomeración creció y se extendió a los suburbios, donde se establecieron conventos de la orden mendicante. Los cultivos de cereales llegan hasta las puertas de la ciudad, mientras que los viñedos dominan las laderas a partir de esta época.
A mediados del siglo XIV, la ciudad se vio sorprendida por el conflicto franco-inglés, en el que mantuvo su posición de ciudad libre e independiente gracias a su estrategia diplomática. No obstante, perdió la mitad de su población tributaria. Tras una recuperación demográfica, las autoridades municipales reestructuraron la vida urbana y regularon la higiene pública. Con la paz, volvió la prosperidad comercial, pero la población se enamoró de las ideas calvinistas. La pacífica ciudad-mercado se convirtió entonces en un poderoso bastión protestante en el que se destruyeron conventos e iglesias.
A pesar de las Guerras de Religión, la población llevó una existencia pacífica y acomodada, al abrigo de sus defensas. La llegada de la imprenta creó una gran actividad en Bergerac, conocida entonces como la Pequeña Ginebra. La nueva opulencia se traduce en una arquitectura refinada, como el Hôtel des Peyrarède, construido en 1604. Este brillante periodo de independencia llegó a su fin con la reconquista de las ciudades por Luis XIII. Abriendo sus puertas a los ejércitos reales, el pueblo de Bergerac organizó una entrada solemne para el soberano. Hace desmantelar las fortificaciones y construye una ciudadela al este de la ciudad. Instaló un regimiento de infantería, creó un municipio consagrado y dejó una misión de padres Récollet. Reformados y católicos coexistieron lo mejor que pudieron hasta las nuevas persecuciones y dragonadas de finales de siglo, que vaciaron Bergerac de su savia vital. Despoblada, la ciudad se convirtió en tierra de misión, a la que llegaron numerosas congregaciones que dominaron rápidamente las instituciones y acumularon importantes propiedades.
En el siglo XVIII, Bergerac mantuvo su papel de gran mercado regional, pero no pudo recuperar su antiguo dinamismo. A pesar de estar situada en una importante vía de comunicación, la ciudad permaneció aislada en el siglo XIX.
Bergerac debe su tardía llegada a la era industrial a su desarrollo urbano de calidad en un entorno preservado.