El club fue fundado en 1936 bajo el nombre de Étoile Sportive du Marais Challans y como la sección de baloncesto del club deportivo Étoile sportive du Marais, creado en 1912. En 1963, el club ganó el campeonato departamental, en lo que fue el comienzo de una gran época. El presidente de la época era Michel Vrignaud (fallecido en 1971). Actualmente, el gimnasio donde disputa los partidos de casa el club lleva su nombre.
En 1971, el ESM Challans ascendió a la máxima categoría del baloncesto francés, la National 1. Challans terminó en 7ª posición en su primera temporada en la National 1. En la temporada 1975-76, el equipo finalizó en 7ª posición y se clasificó para la Copa Korać de la siguiente temporada.
En 2ª ronda, a pesar de ganar por 69-58 en el partido de vuelta al Cannon Venezia, no pudieron pasar de ronda ya que el partido de ida se perdió con claridad. En la temporada 1977-1978, quedaron en 6.ª posición y se volvieron a clasificar para la Copa Korać. Esta vez el club fue eliminado por el Cotonificio español. Tras muchos años en la élite del baloncesto francés, el equipo dio un bajón y descendió a la Nationale 2 en la temporada 1981-1982.
Sin embargo, en 1983, el Challans ascendió de nuevo. Además, ese mismo año, el club ganó la Copa de baloncesto de Francia tras derrotar en la final al Basket CRO Lyon. Después de quedar 10º en la temporada 1983-1984, en la temporada 1984-1985 el equipo revivió sus mejores momentos y quedaron 6º. En su tercera participación en la Copa Korać, el club por primera vez pudo clasificarse para la fase de grupos, pero solo lograron una victoria en seis partidos. En la temporada 1985-1986 quedaron 5º. En su cuarta participación en la Copa Korać, el equipo venció en la fase de grupos al Estudiantes Caja Postal y al Mobilgirgi Caserta, pero no pudo clasificarse para semifinales ya que quedaron 3º del grupo.
En 1987, a pesar de estar clasificados para los cuartos de final de los play-offs de la National 1, el club se retiró voluntariamente del baloncesto profesional y comenzó de nuevo en 1993 en la Nationale 3. Desde entonces, el club no ha vuelto a la Pro A. En 2004, el club fue renombrado como Vendée Challans Basket y juega desde 2005 en la tercera división francesa, la NM1.