Será en la siguiente temporada, la 2004-05, cuando el equipo solo consiga sumar 28 puntos del total, insuficientes para mantener la categoría, y que abocarán al club a regresar a la categoría de plata junto con el C.D. Así pues, en la temporada 2007-08 volverá a situarse en mitad de la tabla, decimosegundo con 52 puntos, un punto más de los que cosecharía en la campaña 2008-09, camiseta de boca en la que terminaría decimoquinto.