Se levanta en el mismo sitio donde estuvo el primer fuerte de la ciudad, El Boquerón, en la isla de Manga, 200 años atrás.

San Sebastián del Pastelillo es un fuerte externo, dominado por los baluartes de la ciudad, que sigue el modelo de las obras tipo pastel, de donde deriva su denominación.

Su misión era defender el acceso a la ciudad por la isla de Manga, la entrada a la bahía de las Animas y el surgidero de los navíos.

En la actualidad funciona allí el Club de Pesca y un restaurante.