La siguiente noticia que informa que en el lugar donde se alzó este castillo hubo primero una estancia militar o fuerte de vigilancia de la playa, nos la proporciona Pedro Pacheco en su obra de 1626.
Del año de 1668 es una Real cédula que dice que en la Caleta existía una torre o estancia a la cual el Ayuntamiento debía pagar el salario de los guardaescuchas en ella apostados y que debía hacerlo de la renta del tigual, es decir, de la renta que se obtenía por lo que debían pagar las mercancías extranjeras cuando entraban en la ciudad.
La siguiente noticia es del siglo XVIII, cuando la documentación manejada me informa de que en la misma zona existía un castillo, fuerte o batería -depende de quién lo trate- construido durante el reinado de Carlos III, en un principio como lazareto donde confinar a los marineros sospechosos de contagios, hasta que en 1776 y a iniciativa de la ciudad de Málaga, se acometieron obras de reforma por un valor de 4896 reales, poniéndole algunas piezas de artillería, probablemente de a 24.

Plano del castillo de San Carlos. 1796
En 1801, el gobernador militar ordenó habilitarlo para acoger un destacamento de caballería, aunque poco a poco dejó de ser operativo para la artillería y también para usarlo para custodiar presos.
En la visita que realizó Felipe de Paz en 1803, este informó que se trataba de un fuerte en buen estado y con casi todos sus edificios nuevos, que disponía de ocho cañones de a 24 para la defensa del fondeadero exterior y del camino a Vélez Málaga, además de contar con parrilla para enrojecer balas.
Debía de estar en buenas condiciones de conservación, aunque en enero de 1821, en el informe realizado por Juan Pérez, se recomendaba realizar algunas obras de restauración, obras que se presupuestaron en algo más de cinco mil doscientos reales.
En el informe redactado por Mauricio Rodríguez de Berlanga en 1830, aconseja que aunque estaba en buen estado, sería conveniente que se le realicen algunas reparaciones y viendo que solo contaba con un cañón de doce libras orientado a levante, informó que tenía capacidad para montar ocho cañones de gran calibre en tiempo de guerra, pudiendo quedarse en cuatro en época de paz.
Por lo que a la guarnición se refiere, al observar que solo contaba con un sargento de artillería y dos soldados de infantería, aconseja que ese número en tiempo de paz debería ser de un sargento, ocho soldados de infantería y dos artilleros y en época de guerra aumentarlo a un oficial, doce soldados de infantería y tres de artillería y dotarlo con ocho soldados de caballería para patrullar la costa.
En una visita de inspección realizada veinte años después, en 1849, por Miguel de Santillana, este pone de manifiesto que lo considera apto para acoger hasta cuarenta soldados de infantería y artillería, a los que añadir otros veinte de caballería, viéndole también capacidad para almacenar veinte quintales -diez mil kilos- de pólvora.
Lo veía pequeño, por lo cual consideraba oportuno que se ampliase y dotarle de mayor capacidad de fuego por el lado de levante, así como elevar la altura de los edificios que cerraban la gola para desenfilarlo de las alturas que tenía por el norte.
En 1851 se en encontraba sin artillería, al igual que otras baterías de la ciudad.