Η οικογένεια με το επώνυμο αυτό πρέπει να ναι από τις παλιές οικογένειες του χωριού και σήμερα απόγονοι της βρίσκονται εγκατεστημένοι σε πολλά μέρη της χώρας.
Πάντως και το επώνυμο Ανυφαντάκης είναι ευρύτατα διαδεδομένο στην Κρήτη.
Επιφανής γόνος της οικογένειας αυτής πρέπει να ήταν ο Κων/νος Ανυφαντάκης ή Καλογέννήτος, που με δαπάνη του κατασκευάστηκε το περίτεχνο καμπαναριό της Παναγίας.
Η μητέρα επίσης του μεγάλου ρεθεμνιώτη επιχειρηματία Ζαχαρίου ήταν το γένος Ανυφαντάκη, για τούτο ο Ζαχαρίου αγαπούσε και βοήθησε το χωριό.
Στη Μικρασία σκοτώθηκε από την οικογένεια αυτή ο Γεώργιος Χαρ. Ανυφαντάκης.
Κάποια μέλη της οικογένειας αυτής λεγόταν παλιότερα στο παρατσούκλι Σαγάδες. Του Σαγά η κολυμπά στο Μελισσουργάκι πήρε το όνομα αυτό, γιατί πνίγηκε εκεί ο Σαγαδογιάννης αφού τον παρέσυραν τα νερά του Διχαλοπόταμου στην προσπάθεια του να τον περάσει.
Κατά μια πληροφορία (1) η μακρινή τους καταγωγή είναι από το χωριό Κομιτάδες Σφακιών και λεγόταν στο επώνυμο Χρυσαφάκηδες.
1. Την πληροφορία αυτή μου έδωσε στις 2/2/1986 ο Αντώνιος Μ. Ανυφαντάκης 92 χρόνων και το είχε ακούσει από τον Αναγνώστη Μαυρομιχελάκη.