A vár első írásos említése 1327-ből maradt fenn, amikor is Károly Róbert királyi birtoka volt. Később a Németújvári családé lett, majd Köcski Sándor szerezte vissza a királynak. 1390-ben Luxemburgi Zsigmond király a belső udvari köréhez tartozó Kanizsai János esztergomi érseknek adományozta. A Kanizsai család hűtlensége miatt több évre a Garai család, illetve Ozorai Pipó birtokába került. 1424-től ismét Kanizsai-birtok, majd Kanizsai Orsolya férje, Nádasdy Tamás kapta meg. A Kanizsaiak a 15. század végére zárt udvarú, palotaszárnyakkal bővített és védművekkel erődített várrá építették ki.