Al otro lado del canal, separado por bajos de la isla de Barú, se ubica el fuerte - batería de San José, que colaboraba con San Fernando en la defensa de la entrada a la bahía. La primera batería erigida en este lugar fué construída por el ingeniero D. Juan Herrera Sotomayor, hacia 1730, y destruída por Vernon 11 años después.

Es reconstruida y ampliada según proyecto del ingeniero Ignacio Salas a partir de 1752, quien aprovechó los restos de la antigua batería para levantar un cuerpo de bóvedas y aljibe elevado, plazuela de armas y polvorín encerrado en un recinto triangular; a este cuerpo se agrega una batería a flor de agua de dos fuertes en ángulo, con capacidad para 21 cañones. Posteriormente Antonio de Arévalo construye una escollera sumergida, que lo circunda con el fin de evitar el acercamiento de las lanchas enemigas. Fué restaurado en 1960 por el arquitecto Manuel Zapatero.