Το Κάστρο του Μίλα είναι κτισμένο σε υψόμετρο 295 μέτρων και βρίσκεται σε απόσταση 2-3 χιλιομέτρων βορειοανατολικά του ομώνυμου χωριού. Απέχει 7 χιλιόμετρα από τον Μελιγαλά και η θέα από το σημείο είναι καταπληκτική. Είναι κτισμένο σε σημείο στρατηγικής σημασίας για τον έλεγχο του Μεσσηνιακού κόλπου στα βόρεια. Το Κάστρο κτίστηκε την εποχή της Φραγκοκρατίας και διατηρείται σε σχετικά καλή κατάσταση.
Οι εργασίες αποκατάστασης του Κάστρου Μίλα που πραγματοποιούνται από την Εφορεία Αρχαιοτήτων Μεσσηνίας και υπό την ευθύνη και την επίβλεψη της Διευθύντριας Εφορείας Αρχαιοτήτων Μεσσηνίας Δρας Ευαγγελίας Μηλίτση-Κεχαγιά βρίσκονται στο τελικό στάδιο και έχουν σχεδόν ολοκληρωθεί και αυτή τη στιγμή γίνονται επεμβάσεις στο περιβάλλοντα χώρο.
Σκοπός του Κάστρου ήταν να ενισχύσει την άμυνα των Φράγκων απέναντι στις επεκτατικές διαθέσεις των Ελλήνων του Δεσποτάτου του Μορέως. Έχει ταυτιστεί με το Chateaux Neuf που φέρεται ότι ίδρυσε η Ισαβέλλα Βιλλεαρδουίνου, (Isabelle de Villehardouin), η γνωστή πριγκιπέσσα Ιζαμπώ, στην σύντομη περίοδο που κατείχε μόνη της τον θρόνο του Πριγκιπάτου της Αχαΐας, (1297-1301). Μία δεύτερη εκδοχή, που υποστηρίζεται από πολλούς, θέλει το Κάστρο να είναι έργο του Nicollo Acciaiuoli από το 1338 έως το 1341.
Το κάστρο είναι προσανατολισμένο από τα βορειοδυτικά προς τα νοτιοανατολικά και βρίσκεται σε εξαιρετικά εποπτική θέση. Η κάτοψη του σωζόμενου τμήματός του έχει σχήμα τραπεζίου και διαστάσεις 25 επί 42,5 μέτρα. Στη μέση περίπου καθεμιάς από τις τρεις πλευρές του, υπάρχει από ένας διώροφος πύργος με μια ή περισσότερες πολεμίστρες. Στη βόρεια “λοξή” πλευρά, υπάρχει στη βάση του πύργου μια πόρτα για ένα μικρό δωμάτιο που ίσως ήταν αποθηκευτικός χώρος, καθώς και η δεξαμενή του κάστρου.
Εξωτερικά του πύργου υπάρχουν τρεις πολεμίστρες, μια για κάθε πλευρά του, ενώ στον όροφο διακρίνονται δυο παράθυρα. Και στον νοτιοανατολικό πύργο υπάρχουν τρία παράθυρα και δυο πολεμίστρες, η μία προς το εξωτερικό και η άλλη προς το εσωτερικό του πύργου. Λόγω της κλίσης του εδάφους, η θεμελίωση αυτού του πύργου χρειάστηκε πλάγια αναχώματα στη βάση του. Ο μικρότερος πύργος στα νοτιοδυτικά φαίνεται να είναι απλά προσκολλημένος στην εξωτερική πλευρά του οχυρού. Υπάρχουν σίγουρα αρκετές μεταγενέστερες παρεμβάσεις από τη μετασκευή του φράγκικου κάστρου. Η βορειοανατολική πλευρά του είναι κατεστραμμένη.
Μετά τη φραγκοκρατία, το κάστρο του Μίλα αναφέρεται ξανά στην κλεφταρματολική περίοδο, στα απομνημονεύματα του Θεόδωρου Κολοκοτρώνη. Το απόσπασμα αφορά την καταδίωξή του από το Ντελή-Αχμέτ το 1803:
«(…) Άλλη μια φορά επήγαμε εις του Τζεφερεμίνη και μας έμαθαν οι Τούρκοι της Ανδρούσης και εκινήσανε μια εκατοστή διά να μας κτυπήσουν. Εβγήκαμε, τους εκινηγήσαμεν και ετρόμαξαν να γλυτώσουν. Το ίδιο εστάθη και στου Μήλα το Παληόκαστρο, ανάμεσα Μήλα και Μπούγα της Μεσσηνίας. Ολ’ ημέρα επολεμήσαμε και το βράδυ τους εφύγαμε»…
Αλλωστε δεν είναι τυχαίο το όνομα “Παλαιόκλεφτο” που αναφέρεται σαν όνομα του κάστρου από την “Expédition scientifique de Morée” το 1830-31. Βέβαια δεν μπορεί κανείς να προσδιορίσει χρονικά τη χρήση του κάστρου από τους Τούρκους, αφού όπως βλέπουμε στο κείμενο του Τερτσέτη, το 1803 στο διωγμό του κλεφταρματολισμού, “του Μήλα το Παληόκαστρο” ήταν εγκαταλειμμένο.
Στη συνέχεια το καστράκι πρέπει να επανδρώθηκε από του Τούρκους και να κρατήθηκε μέχρι το μεγάλο ξεσηκωμό. Γι’ αυτό άλλωστε αναφέρεται στο “Atlas del’ Expédition scientifique de Morée” ότι το κάστρο εγκαταλείφθηκε τελικά, το 1825.
Το Chateau-Neuf της Isabelle, το εφήμερο ταμπούρι του Θεόδωρου Κολοκοτρώνη, το “Παλιόκαστρο” ή “Παλαιόκλεφτο”, στέκει εκεί έρημο, ονοματίζοντας πια μόνο το μικρό οικισμό του χαμηλού λόφου κοντά στο χωριό Μίλα.