Castle Rock terletak di luar Port Phillip Heads di kedalaman sekitar 18 meter. Batu ini berada di dasar berpasir dan menjulang setinggi sekitar 12 meter. Batu ini memiliki keliling sekitar 200 meter, memiliki banyak overhang, dinding, dan lorong renang, dan dapat dilingkari beberapa kali dalam satu kali penyelaman.