Theo truyền thuyết, xưa kia ở vùng biển này có con thuồng luồng rất hung dữ, hay đánh đắm thuyền bè để ăn thịt ngư dân. Bên chân ngọn An Hải Sơn, cạnh chùa Hang, có hai cha con làm nghề chài lưới. Quá bất bình trước tình cảnh này, người cha quyết lòng tiêu diệt con ác thú trừ hại cho bà con. Sau khi tính hết kế, cuối cùng ông thấy chỉ còn cách hy sinh thân mình mới mong giết được con thuồng luồng này. Thế là ông liền tẩm thuốc độc vào mình, nằm sát mé biển để dụ con ác thú. Thấy mồi ngon, con thuồng luồng đến cắn đứt đầu ông, trúng độc rồi chết. Người con đi tìm cha, bắt gặp xác cha cụt đầu liền ôm lấy khóc thương thảm thiết. Không ngờ chất độc từ người cha thấm qua khiến người con trúng độc rồi chết. Trời nổi giông bão, mưa suốt mấy ngày liền. Và nơi hai cha con nằm mọc lên hai hòn đá lớn và nhỏ. Hòn to là cha và hòn nhỏ là con, người ta gọi là hòn Phụ Tử.

Hai bên hòn Phụ Tử là hai hòn đảo có hình dáng giống như một con thỏ quỳ hai chân sau để giỡn với sóng biển và một con rùa. Thiên nhiên đã tạo nên một cảnh quan thật kỳ lạ khéo léo. Chắc chắn rằng ai đã đến hòn Phụ Tử thì không thể quên được cảnh non nước hữu tình.