Hay constancia de que la zona estuvo habitada desde el Paleolítico.8​ Existen diversas teorías sobre el origen del municipio. Esta zona se encontraba en el antiguo reino de Tartessos. Según Rodrigo Caro el actual Gelves se corresponde con la antigua Vergentum, que fue citada por Plinio. Esta cita se ha transcrito como “Vergentum, quod Iulii Genius” y “Vergentum, quod Iulii Genitor”.9​10​ Serrano Ortega afirma que en la época turdetana se llamaba Gelduva y que los árabes la llamaron Ge-Baal, que significa “monte de recreo”.11​ Gelduba es el nombre de un castillo romano de Germania mencionado por Plinio, por lo que existen varias teorías sobre el origen de la palabra.12​

En la época almohade cobró cierta importancia como lugar fortificado. Fue reconquistada en 1247 por Pelay Pérez Correa, maestre de la Orden de Santiago. En el repartimento de Alfonso X de 1253 el rey tomó este lugar como almacén propio. En 1370 fue concedido a Fernán Sánchez Tovar. En el reinado de los Reyes Católicos pasó a pertenecer a la Casa de Guzmán. Posteriormente, pasó a la Casa de Tovar. En 1527 el rey Carlos I concedió la venta de este lugar a Jorge Alberto de Portugal y Melo y a su esposa Isabel Colón de Toledo (hija de Diego Colón y nieta de Cristóbal Colón). En 1529 se creó el condado de Gelves. El hijo de Jorge e Isabel, Álvaro de Portugal, se casó con Leonor de Milán. Leonor fue mecenas de una gran cantidad de artistas y le inspiró una gran cantidad de versos al escritor sevillano Francisco Herrera.13​ El matrimonio vivía en la casa de Merlina, al pie de las colinas del Balcón y del Pintado, que fue descrita en 1565 por el escritor Juan de Mal Lara, amigo del matrimonio, como una casa placentera en un lugar de clima agradable.14​11​ En 1537 Carlos I creó el título de duque de Veragua, que pasó a los condes de Gelves. En 1902 el título de conde de Gelves pasó a la Casa de Alba.8​ En 1974 la Casa de Alba vendió las propiedades que tenía en el municipio.

Durante el siglo XVIII Gelves fue famosa por sus aguas y paisajes, y bajo la propiedad de los duques adquirió una vida social importante. En 1736 sufrió una de las mayores catástrofes de su historia con el desbordamiento del río Guadalquivir que provocó grandes destrozos y la pérdida de numerosos vecinos.

En 1766 el título de conde de Gelves lo ostentaba Pedro Manuel Florentín Colón de Portugal, el cual trasladó su residencia oficial a la corte, lo que produjo que el pueblo perdiese importancia.

En el siglo XIX, con la desaparición de los señoríos se constituye su ayuntamiento constitucional según la Constitución de Cádiz de 1812.

El pueblo ha sido mencionado en conocidas obras literarias: La vida de Lazarillo de Tormes (anónimo, siglo XVI),15​ Guzmán de Alfarache (Mateo Alemán, 1599), El diablo cojuelo (Luis Vélez de Guevara, 1641), Don Álvaro o la fuerza del sino (1834), Simón Verde (Fernán Caballero, 1857) y Sangre y arena (Vicente Blasco Ibáñez, 1908). En el siglo XX, también ha sido mencionada en obras de Francisco Rodríguez Marín,13​ Pedro Salinas, José María Pemán y Camilo José Cela.11​ Fue visitado por Washington Irving en el viaje que hizo por Andalucía en el siglo XIX.16​ Aparece también en la guía turística de España y Portugal realizada por Karl Baedeker.17​