Theo chuyện kể của những bậc cao niên tại Côn Đảo, trong số quan quân theo vua Hàm Nghi trong phong trào Cần Vương, chống giặc Pháp có hai anh em sinh đôi nhà họ Đặng, tên là Phong Tài và Trác Vân. Gia đình này cũng có một người con nuôi là Trương Quang Ngọc.
Lúc theo phò tá vua giúp nước, Phong Tài có dẫn Ngọc cùng đi. Nhưng người này sinh lòng phản trắc, làm phản để lấy tước hàm Lãnh binh. Phong Tài cũng bị bắt trong cuộc phản trắc đó, còn người em là Trác Vân may mắn trốn thoát.
Sau khi bị bắt, Phong Tài bị đày ra Côn Đảo vào cuối năm 1888. Lúc này chế độ nhà tù còn dễ dãi nên Tài cũng lấy được vợ trên đảo, là nàng Đào Minh Nguyệt sắc nước hương trời. Vợ chồng Phong Tài được cha vợ cấp cho một khu vườn rộng làm nơi sinh sống và lập nghiệp.
Một hôm, Phong Tài có việc, phải vắng nhà ít hôm. Nên khi thấy bóng chồng, nàng Minh Nguyệt chạy ra định ôm theo thói quen thì bị người đó đẩy ra và nói: “Xin chị tha lỗi, em là Trác Vân, em chồng của chị. Em mới bị đày ra đây và được cho vào sở này để được cùng chung sống với gia đình anh chị”, làm nàng ngẩn người.
Khi Phong Tài về, hai anh em gặp nhau mừng mừng, tủi tủi. Về phần mình, nàng Minh Nguyệt ngắm nhìn hai anh em giống nhau như đúc, trong lòng không khỏi xúc động. Đối với nàng, Phong Tài là người chồng đáng kính, còn Trác Vân là một người thanh nhã, đáng yêu… và thầm cảm mến.
Một hôm, nhân lúc chồng ra khơi đánh cá, Minh Nguyệt biết rõ nhưng vẫn cố tình vờ như nhầm lẫn để chạy lại ôm lấy Trác Vân. Chàng lại một lần nữa từ chối, khiến nàng ngỡ ngàng… và viện cớ đó là sự nhầm lẫn, xin thứ lỗi…
Trác Vân cũng đã thấy rõ tâm tình của chị dâu và e ngại sẽ có ngày sa ngã, lỗi đạo luân thường. Vậy nên chàng bèn kết bè để sang một hòn đảo tạm lánh.
Vì quá thương em nên Phong Tài đã lần sang theo. Nhưng khi đến nơi, mới hay Trác Vân đã tiếp tục chạy sang hòn đảo khác. Vì vậy chàng không dám đuổi theo nữa, vì sợ em sẽ đi xa hơn, nên ở lại đó cho gần em, bỏ mặc người vợ trẻ ở lại nhà.
Cứ như vậy, 3 người sống ở 3 nơi cho đến lúc lìa đời. Sau này, người dân biết chuyện, đã đặt tên cho 2 hòn đảo nơi hai anh em sinh sống là Hòn Tài và Hòn Trác (còn có tên gọi nhóm đảo này là hòn Huynh Đệ).
Ngày nay, hòn Trác và hòn Tài là điểm đến thú vị và thu hút trong các tour tham quan trên biển ở huyện Côn Đảo. Nơi này có những bãi cát nhỏ, trắng mịn, thu hút rùa mẹ lên làm tổ đẻ trứng; cùng phong phú và đa dạng các loài sinh vật biển; cùng một số loài động vật quý hiếm như chim biển, khỉ mặt đỏ, một số họ bồ câu...
