Τα τείχη της Ανακτορόπολης ανεγέρθηκαν ανάμεσα στα 1167 και 1170 από το διοικητή του βυζαντινού στόλου Μεγάλο Δούκα, Ανδρόνικο Κοντοστέφανο, όπως μαρτυρεί μια επιγραφή που σώζεται στο νότιο τείχος. Το φρούριο της Ανακτορόπολης προφανώς αποτελούσε ναυτική βάση επιφορτισμένη με την προστασία των ακτών του βορείου Αιγαίου από τους πειρατές και τους επιδρομείς.Από εκκλησιαστικής πλευράς η Ανακτορόπολη ήταν έδρα επισκοπής, η οποία υπαγόταν στη μητρόπολη των Φιλίππων η ύπαρξη της επισκοπής της Ανακτορόπολης αναφέρεται ήδη από τις αρχές του 10ου αιώνα.Πριν από τα μέσα του 14ου αιώνα η Ανακτορόπολη βρισκόταν στα χέρια του πειρατή Αλεξίου από τη Βελικώμη της Βιθυνίας. Με ορμητήριο την πόλη αυτή ο πειρατής Αλέξιος δρούσε στην ευρύτερη περιοχή από τη δράση του υπέφεραν ακόμη και οι κάτοικοι της Λήμνου. Η Ανακτορόπολη περιήλθε ξανά στους βυζαντινούς το 1350 ύστερα από τριήμερη πολιορκία που πραγματοποίησε ο Ιωάννης Καντακουζηνός.Λίγα χρόνια μετά και συγκεκριμένα το 1357 ο αυτοκράτορας Ιωάννης Ε’ παραχώρησε την Ανακτορόπολη, τη Χρυσόπολη (στις εκβολές του Στρυμόνα) και τη Θάσο σε δύο αδελφούς, στο μέγα πριμηκήριο Αλέξιο και στον πρωτοσέβαστο Ιωάννη αυτοί επέκτειναν στη συνέχεια την κυριαρχία τους από τις εκβολές του Στρυμόνα ως τη Χριστούπουλη (Καβάλα), χάρη στις στρατιωτικές επιτυχίες τους εναντίον των Σέρβων. Μετά το θάνατο του Αλεξίου, γύρω στο 1373, ο Ιωάννης έμεινε μόνος κύριος της περιοχής αυτής, η οποία όμως στα τέλη του 14ου αιώνα κατακτήθηκε από τους Τούρκους. Κατά την διάρκεια της μεσαιωνικής περιόδου, η Ανακτορόπολη πιθανώς ονομαζόταν επίσης Αλεκτρυόπολη, Αλεκτορόπολη και Ελευθερούπολη. Η τελευταία ονομασία διατηρήθηκε βεβαίως στο όνομα του γειτονικού χωριού των Ελευθερών.

Νεώτερα χρόνια Στους πρώτους αιώνες της Τουρκοκρατίας η μεσαιωνική πόλη μάλλον συνέχισε να κατοικείται πάντως σύμφωνα με μαρτυρίες περιηγητών, το φρούριο της Ανακτορούπολης ήταν εγκαταλελειμμένο ήδη το 18ο αιώνα.