Castle Rock se encuentra a las afueras de Port Phillip Heads, a unos 18 metros de profundidad. Se asienta sobre un fondo arenoso y se eleva hasta unos 12 metros. La roca tiene unos 200 m de circunferencia, muchos salientes, paredes y pasadizos, y puede rodearse varias veces en una inmersión.