Ngôi chùa nằm ở độ cao gần 100m so với mực nước biển. Để có thể lên được chùa, du khách phải vượt qua con dốc thoai thoải gần 1km, rộng 4m. Từ trong khuôn viên chùa, có thể phóng tầm mắt bao quát cả một vùng sơn thủy hữu tình.
Theo tư liệu ghi chép tại chùa, năm 1793, thiền sư Pháp Chuyên, đời thứ 36 phái Lâm Tế đến đây dựng một thảo am dịch kinh Hoa Nghiêm. Đến năm 1797, dưới thời vua Quang Toản nhà Tây Sơn, thiền sư cho cất một ngôi chùa lá mái đồ sộ lấy tên Từ Quang. Do được xây dựng trên triền núi Đá Trắng nên dân trong vùng hay gọi là chùa Đá Trắng.
Dù được xây dựng dưới thời vua Quang Toản nhà Tây Sơn, thế nhưng ngôi cổ tự này lại được các vua nhà Nguyễn hết sức yêu thích, bởi sự thơm ngon đặc biệt của những quả xoài Đá Trắng được trồng ở đây. Sự thơm ngon đặc biệt đó đã đi vào trong ca dao: “Xoài Đá Trắng, sắn Phường Lụa” (Phường Lụa là một địa danh khác ở Phú Yên, cách chùa Đá Trắng không xa).
Tương truyền rằng, trong những lần dừng chiến thuyền ở vịnh Xuân Đài trên đường hành quân đánh nhau với quân Tây Sơn, chúa Nguyễn Ánh đã có dịp thưởng thức đặc sản vùng này và tỏ ra ưa thích xoài Đá Trắng. Vị ngọt thanh của nó không xoài ở đâu có được. Vì vậy, dưới triều Gia Long, cùng với lòn bon ở Quảng Nam, xoài Đá Trắng ở Phú Yên trở thành “nhị bảo ngự thiện”. Vào dịp Tết Đoan Ngọ hàng năm, tỉnh Phú Yên phải mang dâng nhà vua từ 1.000 đến 2.000 trái xoài.
Vườn xoài ở đây xuất hiện cả trước khi dựng chùa. Nếu như các giống xoài khác đều ra hoa màu vàng thì xoài Đá Trắng ra hoa màu trắng, trái nhỏ, vỏ mỏng, cùi ngọt thanh, hương thơm bay xa, chín để được lâu. Vì xoài Đá Trắng quý hiếm nên có lúc quan huyện lệnh phải cắt cử sai nha canh giữ vườn xoài và ghi chép tỉ mỉ quá trình ra hoa, thụ trái, thu hoạch.
Ngoài ra, quan tỉnh Phú Yên còn cử một đội quân chuyên lo vận chuyển xoài ra kinh đô Huế. Xoài được ủ cẩn thận vào giỏ tre lót lá sầu đông, làm sao lúc ngựa chở đến Huế thì cũng vừa chín vàng da. Nhà vua sẽ mở tiệc ngự thiện, thưởng thức xoài và chia lộc cho các quan đại thần.
Những năm 1885 - 1887, vua Hàm Nghi xuống chiếu Cần Vương kêu gọi sĩ phu yêu nước cùng mưu việc lớn. Tại Phú Yên, phong trào này do Lê Thành Phương lãnh đạo với sự tham gia của hàng trăm sĩ phu và các nhà sư của chùa. Chùa Đá Trắng cũng là pháo đài cho đạo quân của phó tướng Bùi Giảng ngăn chặn quân Pháp đổ bộ từ cửa biển Tiên Châu vào Phú Yên. Vào cuối thế kỷ XIX đầu thế kỷ XX, chùa Đá Trắng là căn cứ chỉ huy cuộc khởi nghĩa của Võ Trứ và Trần Cao Vân.
Năm Kỷ Sửu 1889, chùa được vua Thành Thái ban sắc tứ. Đến năm 1929, chùa mở cuộc đại trùng tu do bị hỏa hoạn trước đó. Năm 1997, chùa được công nhận là Di tích lịch sử - văn hóa cấp quốc gia. Năm 2013, cụm 20 cây xoài hàng trăm tuổi ở chùa được Hội đồng Cây di sản Việt Nam công nhận là Cây di sản. Hơn chục năm nay, những cây xoài này có năm ra một vài trái, có năm không kết trái. Tỉnh Phú Yên đang tìm cách lưu giữ và nhân giống xoài quý hiếm này.
