Este protostorica e romana era delimitata a sud dal fiume Adige, ad ovest da un antico percorso fluviale detto scolo di Lozzo, a nord ed est da un porto canale (denominato Sirone in età medievale) che si immetteva poi nell’Adige. A nord del canale, alle falde del colle, dominato ora dal castello carrarese, si estendeva una delle necropoli della città paleoveneta e romana, mentre sulla sommità sorgeva forse un luogo di culto. Appena delineate sono le vicende della città romana, mentre di Este tardoantica non si conosce quasi nulla.
Sulla sommità del colle che domina Este, nel 1914 è stato parzialmente scavato un possente edificio rettangolare di m. 20,30 x 18 (datato dallo scavatore, Alfonso Alfonsi, tra VI e VII secolo). In appoggio al lato nord dell’edificio è stata costruita una torre trapezoidale, con muri dello spessore da 2,35 a 3 metri, la cui forma della torre è tipica dell'architettura militare bizantina. Potrebbe dunque essere stata costruita nel contesto della guerra greco-gotica o in quello, immediatamente posteriore, della difesa dell'Adige tra l’invasione longobarda (569) e la conquista longobarda di Monselice nel 602. L’ipotesi più probabile, come per altre torri altomedievali erette lungo il percorso dell’Adige, è che l’edificio rinforzato dalla torre pentagonale avesse una funzione difensiva accanto ad altri compiti di natura pubblica, in relazione al porto sul fiume Sirone, suggerito dal ritrovamento di una banchina spondale ai piedi del castello e dalle fonti scritte nel basso medioevo.
Nel 1115 è testimoniata l'esistenza di un castello costruito del marchese Alberto Azzo d'Este situato sulla sommità del primo colle prospicente la pianura ed i possedimenti degli Estensi tra gli Euganei ed il Mincio. Per tutto il 1100 i marchesi operano rifacimenti ed ingrandimenti al castello specie verso la sottostante piana del borgo, non senza litigi e dispute tra i marchesi e signori e signorotti locali.
Nel 1213 la città è assediata dell'esercito comunale di Padova. Preso il castello, la rocca venne abbandonata e lasciata in rovina fino al 1220, nonostante le rivendicazioni di possesso da parte di Federico II.
È la volta del 1249 e dell'assedio di Ezzelino III da Romano, vicario dell'imperatore Federico, che nella sua scorribanda ancor giovanile mette a ferro e fuoco la città e distrugge il maniero.