Το κάστρο λέγεται Κάστρο του Άργους ή κάστρο της Λάρισας. Οι πρώτοι που εποίκισαν το Άργος ήταν οι Πελασγοί και οι ονομασίες είναι πελασγικές. «Άργος» σημαίνει κάμπος και «Λάρισα» σημαίνει ακρόπολη.
Πρόκειται για ένα από τα παλαιότερα και πιο ιστορικά κάστρα στην Ελλάδα. Η τοποθεσία είχε οχυρωθεί ήδη από τους προϊστορικούς χρόνους. Η οριστική διαμόρφωση του κάστρου έγινε από τους Φράγκους.
Βόρεια από το Άργος, εκεί που τελειώνει η πόλη, υπάρχουν δύο λόφοι. Δεξιά, προς τα ΒΑ, είναι ο λόφος της Ασπίδος και στα Βορειοδυτικά, ο πιο ψηλός από τους δύο (289 μ.), είναι ο λόφος της Λάρισας όπου βρίσκεται το κάστρο. Και στο λόφο της Ασπίδος υπήρχε αρχαίο κάστρο που δεν σώζεται. Τα δύο κάστρα ενώνονταν με τείχη για την προστασία της πόλης του Άργους κατά την αρχαιότητα.
Το κάστρο οικοδομήθηκε κατά τους προϊστορικούς χρόνους. Η βάση του σε ορισμένα σημεία έχει ογκόλιθους, που μας θυμίζουν τα κυκλώπεια τείχη. Τον 5ο και 6ο αι. π.Χ. οι Αργείοι επισκεύασαν και συμπλήρωσαν το τείχος, ακολουθώντας τα παλαιότερα ίχνη. Σημαντικά τμήματα της εποχής εκείνης σώζονται στο βόρειο και δυτικό τμήμα.
Τον 10ο αι. μ.Χ. κτίστηκε το μεσαιωνικό κάστρο και υπήρξε για τους Βυζαντινούς από τις πιο σημαντικές οχυρώσεις στην Πελοπόννησο. Το 1203 περιήλθε στη δικαιοδοσία του άρχοντα του Ναυπλίου Λέοντα Σγουρού.
Στα χρόνια της Ελληνικής Επανάστασης, όταν έφτασε στο Άργος η μεγάλη στρατιά του Δράμαλη, ο Κολοκοτρώνης έκρινε ότι έπρεπε οι Έλληνες να καταλάβουν το κάστρο, για να απασχολήσουν τον εχθρό και να κερδίσουν πολύτιμο χρόνο. Ο Κολοκοτρώνης έστειλε αρχικά 100 επίλεκτους άντρες, στους οποίους προστέθηκαν αργότερα κι άλλοι κι έγιναν 700. Αρχηγός τους ήταν ο Δημήτριος Υψηλάντης, ο οποίος έδωσε δείγμα της διοικητικής του ικανότητας.
Οι Έλληνες κράτησαν το κάστρο μέχρι τις 24 Ιουλίου του 1822 και κατόρθωσαν να διαφύγουν ύστερα από αντιπερισπασμό, που προκάλεσαν στον εχθρό οι Έλληνες του στρατοπέδου των Μύλων. Οι αγωνιστές είχαν κατορθώσει να καθυστερήσουν τον εχθρό 15 περίπου μέρες, που ήταν πολύτιμος χρόνος για την οργάνωσή τους και το θρίαμβο στα Δερβενάκια μετά από δύο μέρες.
Το κάστρο έχει δύο περιβόλους· τον εξωτερικό, μήκους 200 μ., και τον εσωτερικό, μήκους 70 περίπου μέτρων. Στον εσωτερικό χώρο υπήρχε ναός του Λαρισαίου Διός και της Αθηνάς Πολιάδος (Παυσ. ΙΙ, 24,3). Επίσης, υπήρχε σταυρεπίστεγη εκκλησία του 12ου αιώνα Σώθηκε η κτητορική της επιγραφή με το όνομα του επισκόπου Νικήτα, η οποία φυλάσσεται στις αποθήκες του μουσείου Άργους.
Για την κατασκευή της εκκλησίας χρησιμοποιήθηκε οικοδομικό υλικό της αρχαίας εποχής. Αλλά και σε πολλά ακόμη σημεία της τοιχοποιίας του κάστρου ο επισκέπτης μπορεί να διακρίνει ενσωματωμένα αρχιτεκτονικά μέλη.
Το κάστρο, έχει αλλάξει όψη (προς το καλύτερο φυσικά) μετά και τις τελευταίες επεμβάσεις αναστήλωσης, με τους μεγάλους πύργους και τα ψηλά τείχη, φαίνεται επιβλητικό και δημιουργεί την εντύπωση την νύχτα πως αιωρείται.