Κοντά στην Εβγάτη, μέσα σε μια δυσπρόσιτη σπηλιά στην κορυφή του βουνού βρίσκεται το ξωκλήσι της Παναγίας της Κακαβιώτισσας. Κατάλοιπο ενός από τα πολλά μετόχια του νησιού, είναι γνωστό από το 1305, όταν περιήλθε στην ιδιοκτησία της Μονής Μεγίστης Λαύρας. Τότε είχαν εγκατασταθεί στο εξωκκλήσι μοναχοί από τον Άγ. Ευστράτιο, που ανήκαν στη μονή, για να προστατευθούν από επιδρομές των Τούρκων. Το ξωκλήσι, που δεν έχει στέγη, καθώς προστατεύεται από τα βράχια της σπηλιάς, λειτουργείται κάθε Λαμπροτρίτη, οπότε και μεταφέρεται σ’ αυτό η εικόνα της Παναγίας Κακαβιώτισσας, την οποία διατηρεί μια οικογένεια στον Κοντιά.
