Al sur de la ciudad se encuentra el barrio denominado Las Caleras o 5to Cuartel. Este fue el primer asentamiento español en tierras victorianas y fueron los vascos quienes llegaron primero.  Desde principios del siglo XIX, los vascos de diferentes regiones del norte de España por diversas causas se vieron obligados a dejar su país natal en busca de nuevas oportunidades en el continente americano. Argentina fue un lugar donde el inmigrante era bien recibido.

Las primeras ciudades adonde fueron son Rosario y Paraná, pero ya para ese entonces todo el territorio de islas comenzaba lentamente a poblarse y Victoria, cuyos primeros asentamientos datan de 1810, comenzaba a ser un interesante punto en el mapa.

De a poco el lugar fue poblándose de hornos caleros y, junto a éstos, se instalaban los vascos con sus respectivas familias que algunos traían de Europa varios años más tarde.