Karaada’nın Kos Adası yönündeki orta noktasında bulunan Karaada-Delikli Mağara, iki sualtı mağarası ile dikkat çekiyor. Birinci mağara 15 metre derinlikte ve dar bir girişi var, bu yüzden içeri girmek önerilmiyor. İkinci mağara ise 12-14 metre derinliğinde, geniş bir girişle daha kolay erişim sağlıyor. İçinde iskorpit, karavida ve istakoz gibi deniz canlıları görmek mümkün. Mağaranın tavanında bir delik bulunuyor ve buradan 6-7 metreye çıkmak kolay. Ayrıca mağaranın önünde, 25 metre derinlikte büyük orfoz balıkları sıkça görülüyor.