La Hermandad ha experimentado varias refundaciones a lo largo de su historia. La más antigua documentada tuvo lugar en 1714, mientras que la última se produjo el 18 de septiembre de 1942, tras la Guerra Civil. Conocida originalmente como Hermandad de Esclavitud del Santísimo Cristo Crucificado, gozó desde sus comienzos de una gran aceptación entre los accitanos, como demuestran las numerosas donaciones recibidas.

Durante la invasión francesa, la imagen fue ocultada tras un tabique en una vivienda de la calle de la Gloria para evitar su destrucción. A sus pies se dejó encendida una lamparilla que, según la tradición, continuaba ardiendo cuando la talla fue recuperada al finalizar la guerra, hecho que originó la advocación del Cristo de la Luz. Su devoción se consolidó durante el siglo XIX mediante celebraciones religiosas, festejos, limosnas para los pobres y actos de acción de gracias, como el celebrado en 1860 por el fin de una epidemia de cólera.

La Hermandad también prestaba asistencia a sus miembros fallecidos, sufragando colectivamente los gastos de sus entierros. En 1928 estrenó un gran trono de plata donado por doña Modesta Gil, que obligó a modificar el recorrido procesional debido a sus dimensiones. Aunque la Semana Santa atravesó un periodo de decadencia durante las décadas de 1920 y 1930, la cofradía mantuvo su prestigio y actividad.

En julio de 1936, la imagen, el trono y parte de la documentación fueron destruidos, quedando interrumpidas las procesiones. La Hermandad se reorganizó en 1942 y recibió una nueva talla, obra de Del Moral Herranz, además de un trono de madera de nogal realizado por Antonio Ruiz Puertas en 1945. Impulsó actos como el vía crucis de 1944 y el quinario cuaresmal, y en 1951 comenzó a participar en la Procesión del Silencio del Jueves Santo. El deseo manifestado en 1953 de incorporar una imagen mariana se hizo realidad cuarenta y nueve años después con María Santísima de la Amargura.