Η θέση του είναι εντυπωσιακή, μέσα σε μια δυσπρόσιτη σπηλιά, στην κορυφή του βουνού, ανάμεσα σε επιβλητικά βράχια.
Μια θέση που πιθανότατα φιλοξένησε παλαιοχριστιανικό ναό και ερημίτες στη βυζαντινή περίοδο.
Η Παναγιά, ονομάστηκε Κακαβιώτισσα από το βουνό Κάκαβο στο οποίο βρίσκεται το ξωκλήσι της. Πρόκειται για τη μοναδική παγκοσμίως άσκεπη εκκλησία, η οποία είναι χτισμένη μέσα σε σπηλιά.
Κάτω από το βραχώδες αυτό μπαλκόνι ασκητές ήδη από τα 1305 επέλεξαν το τόπο του Κάκαβου, για να ασκητέψουν και να δοξολογήσουν την Παναγία. Έχτισαν το ναΐσκο για να λειτουργούνται οι μοναχοί, που ασκήτευαν στις γύρω σπηλιές του βουνού.
Κάποτε οι μοναχοί πέθαναν, καινούργιοι ασκητές δεν ήρθαν και ο τελευταίος που έμεινε, αποφάσισε, να εγκαταλείψει τη Λήμνο και να πάει στο Άγιο Όρος.
Πριν φύγει για το όρος, βρήκε ένα Λημνιό από την οικογένεια Μουμτζή, από το Κοντιά, που’ χε τη μάντρα του εκεί κοντά και του εμπιστεύτηκε την εικόνα της Παναγίας, το «Ρόδον το αμάραντον».
Ο μοναχός ζήτησε από το βοσκό να ανεβάζει την εικόνα στο ναό κάθε Λαμπροτρίτη για να λειτουργείται.
Έπειτα ο ασκητής μπήκε στη θάλασσα, άνοιξε το ράσο του, το οποίο έγινε βάρκα και έφυγε για το Άγιο Όρος.
Το εκκλησάκι είναι γνωστό ήδη από το 1305, έτος που περιήλθε στην ιδιοκτησία της μονής Μεγίστης Λαύρας.
Μοναχοί τότε από τον Άγιο Ευστράτιο που ανήκαν στη μονή της Μεγίστης Λαύρας, εγκαταστάθηκαν στη σπηλιά, για να προστατευθούν από τις επιδρομές των Τούρκων.
Η σπηλιά βρίσκεται σε ιδανική θέση για ερημίτες.
Ακόμα και σήμερα, σε μια διπλανή μικρή σπηλιά συναντάμε ίχνη ανθρώπων, που πηγαίνουν στη σπηλιά, για να απομονωθο��ν και να προσευχηθούν. Υπάρχουν κονσέρβες, πνευματικά χριστιανικά βιβλία και στρωσίδια.
Το ξωκλήσι λειτουργεί και εορτάζει κάθε Λαμπροτρίτη, όταν οι κάτοχοι της εικόνας την ανεβάζουν στο ναό, για να λειτουργηθεί.
