Son emblème, une échelle (scala en italien), a donné son nom à la famille et sa silhouette de créneaux gibelins au château.
La forteresse est située à l'entrée de la péninsule de Sirmione, une fine langue de calcaire s'étendant sur près de quatre kilomètres dans le lac de Garde. Cette géographie a tout dicté. Quiconque tenait le pont-levis tenait la ville, et les douves qui entourent encore les murs sont alimentées directement par le lac plutôt que par un canal artificiel. Vérone, située à environ quarante kilomètres au sud-est, traitait Sirmione comme un poste naval avancé ; l'excursion moderne d'une journée de Vérone au lac de Garde retrace un itinéraire qui était autrefois une ligne de ravitaillement, et non un couloir de loisirs.
La Sirmione romaine a précédé les Scaligeri de plus d'un millénaire. À la pointe de la péninsule se dressent les Grotte di Catullo, les ruines d'une villa de l'époque impériale traditionnellement liée au poète Catulle, qui écrivait sur son retour à Sirmione. Des sources thermales sulfureuses jaillissent au large près de Boiola et sont exploitées depuis l'Antiquité. Ensemble, ces couches expliquent pourquoi une excursion de Vérone au lac de Garde, un circuit Vérone et lac de Garde depuis Venise, et une visite de Vérone, Sirmione et lac de Garde avec croisière en bateau depuis Milan convergent tous vers le même petit promontoire.
Sur le plan architectural, le château est austère. Il y a peu d'ornements, pas d'appartements d'apparat, pas de salle décorée de fresques. Ce qui subsiste, c'est la logique militaire dans la pierre : une cour rectangulaire, trois tours d'angle, un donjon dominant le reste, et une passerelle couverte reliant les courtines. Les 146 marches menant au niveau supérieur ont été taillées pour les défenseurs, non pour les visiteurs, et la montée se rétrécit considérablement près du sommet. Venise a absorbé la forteresse en 1405 et a adapté le port pour ses propres galères ; le lion de la République apparaît toujours sur les maçonneries autour de la ville.
Aujourd'hui, le complexe est géré par le système muséal régional d'Italie, et ses remparts sont ouverts sur l'eau de tous côtés. Depuis le donjon, la vue embrasse les terrasses d'oliviers, le clocher baroque de Santa Maria della Neve et la masse pâle du Monte Baldo de l'autre côté du lac. Ce panorama est la raison pour laquelle la plupart des excursions d'une journée de Vérone au lac de Garde se terminent ici plutôt que de commencer, et la raison pour laquelle un itinéraire bien conçu réserve la forteresse pour sa dernière heure.