Núi Lớn và Núi Nhỏ nằm kề nhau, và sát mé biển tạo nên những tấm "lá chắn" và phong cảnh “sơn thủy hữu tình” hiếm có cho TP.Vũng Tàu. Ngoài 2 tên gọi trên, còn có tên gọi khác là núi Tương Kỳ và núi Tao Phùng.
Núi Lớn tên gọi là Tương Kỳ (có tên khác là Thác Cơ Sơn hoặc Ghềnh Rái). Ngọn núi này được xem như một tấm lá chắn che cho cửa Cần Giờ.
Chuyện xưa kể rằng, nơi đây lúc còn hoang dã có nhiều hổ dữ sinh sống. Hai ông cháu cụ giáo Hiếu (là thầy dạy văn võ cho 3 anh em Nguyễn Huệ) là những người đầu tiên đặt chân lên núi.
Một ngày, cô cháu gái tên Mai vào rừng hái nấm thì không may gặp hổ dữ. Lúc nguy cấp đã xuất hiện một tráng sĩ ra tay đánh hổ giải nguy cho cô gái. Cảm kích, Mai đưa người này về ra mắt ông nội.
Biết được chàng trai đó tên là Lê Tuấn - một võ tướng của Nguyễn Huệ, cụ giáo Hiếu rất vui mừng và đồng ý gả cháu mình. Cụ giáo trỏ tay vào ngọn núi và nói: "Nơi đây đã chứng kiến mối lương duyên của tráng sĩ và cháu gái lão, lão xin đặt tên núi là Tương Kỳ". Đó là một truyền thuyết về tên của ngọn núi này.
Còn Núi Nhỏ có tên gọi là Tao Phùng, có diện tích khoảng 120ha, cao 170m. Chuyện xưa kể rằng, công chúa con vua Thủy Tề hóa cá vàng đi chơi, không may sa lưới người trai làng chài. Thấy cá đẹp, chàng mang lên núi, khoét đá thành vũng nước, cho cá vào nuôi.
Một hôm đi biển về thì không thấy cá đâu, chỉ thấy công chúa bước ra kể rõ sự tình, rồi họ nên duyên thành vợ chồng.
Cuộc sống đang yên vui thì ngày kia, công chúa bị một người "thu" vào hộp ngọc và biến trở lại thành cá vàng. Người chồng đau đớn xin tha nhưng không được. Từ đó, cứ 5 năm thì cá vàng mới được ra gặp chồng ở Núi Nhỏ, nên người đời gọi đó là núi Tao Phùng để minh chứng cho câu chuyện này.
Ngày nay, Núi Lớn và Núi Nhỏ còn bảo tồn nhiều di tích lịch sử văn hóa như: phòng tuyến trận địa pháo của Pháp, ngọn Hải đăng Vũng Tàu, Hầm thủy lôi của quân đội Nhật trong Chiến tranh thế giới thứ 2, đài anten parabol của quân đội Mỹ, tượng chúa Kito Vua và nhiều đền, chùa nổi tiếng khác.
