El portavoz del Grupo Municipal del PP de Úbeda, José Robles, ha manifestado el rechazo a la rehabilitación del edificio del Palacio de los Torrente que se pretende utilizar para albergar el Conservatorio de Música. Robles piensa que hay que dar una solución al problema de dispersión del conservatorio pero no le parece que esta sea la solución más adecuada. Desde el PP de Úbeda piensan que es mejor construir un nuevo edificio.
Además del coste económico, el PP de Úbeda piensa que otro problema sería el de circulación de vehículos por el entorno monumental. Además, el edificio no reúne condiciones acústicas y esto empieza a preocupar a los vecinos de la zona.
José Robles ha respondido a las acusaciones que afirman que el PP quieren que este edificio se destruya con algunas propuestas para el Palacio de los Torrente.