Stari grad Ostrožac, u današnjem obliku i dimenzijama, sazdan je u četiri vremenske epohe. Najstariji dio, promjera 45-50 metara, porijeklo vuče iz 13. stoljeća, ili preciznije 1286. godine, kada se u historijskim izvorima po prvi put spominje grad Ostrožac, i to kao posjed knezova Babonića Blagajskih. Razvoj Starog grada započinje izgradnjom branič-kule koja je smještena na krajnjoj, sjevernoj strani grada. Uz kulu su bila izgrađena dvorišta sa visokim zidovima, kapi-kulama, pomičnim mostom, stražarnicama, bastionima i kazamatima.
Ostrožac je u srednjem svijeku bio velik i značajan grad, a vjeruje se da su i njegovi vlasnici stanovali u njemu. Prema Truhelki i Lopašiću, na južnom dijelu grada bila je izgrađena palata u kojoj je stanovao zapovjednik grada. U ovom dijelu postoje ostaci dviju kula koji se nalaze u sastavu južnih bedema.
Držao ga je već 1286. godine Radoslav Babonić, pišući se knezom Ostrožkim. Radoslava starijeg naslijedio je Radoslav mlađi, a kada je taj 1318. godine umro, Ostrožac je prešao u ruke njegovog sina, Dujma ili Dujmića. On se još 1346. godine pisao knezom Ostrožkim. Babonići su stoljećima vladali Ostrožcem po rodbinskom nasljednom pravu.
Osmanska vojska je u nekoliko navrata (1538. i 1543.) bezuspješno opsjedala Ostrožac, te je zbog velikog strateškog značaja gradom upravljao general Ivan Lenković sa 40 vojnika. Ostrožac je u tom periodu postao dijelom sastava odbrane u Vojnoj Krajini.
Ostrožac je 1577. godine s velikom vojskom osvojio Ferhad-paša Sokolović, bosanski sandžakbeg. Grad su zauzele Osmanlije na juriš, a u boju je poginulo mnogo ljudi s obje strane, Hrvatska i Habzburška monarhija pokušale su ponovno zauzeti grad 1587. i 1605. godine, ali bez uspjeha.
Dolaskom Osmanlija, u podgrađu se formira naselje. Na ovom dijelu utvrde podignuta je džamija i mekteb, a prema nekim hroničarima tu je bilo oko 150 kuća i gotovo hiljadu stanovnika. Stari grad se dodatno utvrđuje, a tri tabije, od kojih se dvije nalaze na zapadnoj strani, a jedna na istočnoj, nastale su u vrijeme osmanskog perioda. Ispred istočne tabije je početkom 19. stoljeća izgrađen veći objekat koji ima prizemlje i kat, prekriven strmim krovom.
U 19. stoljeću Ostrožac postaje sjedištem dizdara i kapetana. Kapetani su uglavnom bili članovi porodice Beširević, koja se spominje od 1541. godine. Na glasu je bio Osman-aga Beširević, kapetan Ostroški od 1690. do 1727. godine. Osman-aga Beširević bio je slika spahije i poglavice krajiškoga, kojeg su se bojali i Turci i kršćani, ali su ga ujedno poštovali zbog iskrenog prostodušja i osobne odvažnosti i hrabrosti. On je izgradio konak, kao i južni dio grada.
Izgradnja grada prestala je u prvoj polovini 19. stoljeća kada je grad izgubio strateški značaj. Posljednji kapetan Ostrožca iz porodice Beširević, Mehmed-beg, prodao je Ostrožac 1896. godine grofu Lotharu von Berksu, tadašnjem gradonačelniku Bihaća i vitezu malteškog reda.
Lothar von Berks započeo je restauraciju grada i izgradnju velikog dvorca u neogotičkom stilu, u koji se zajedno sa porodicom nastanio 1902. godine. Iako je Lothar bio poznat vojnik, više se pamti njegova supruga Isabella. Nju je fascinirala ljepota Une i ovih prekrasnih pejzaža, zbog čega je ostala u lijepom sjećanju stanovništvu. Lothar von Berks dao je izgraditi put koji je od utvrde vodio do rijeke Une, zbog čega je Ostrožac postao grad iz bajke za mnogobrojne znatiželjne posjetitelje.
Za vrijeme Drugog svjetskog rata, Ostrožac je bio jedno vrijeme sjedištem vrhovnog štaba NOR-a. Nakon završetka rata, Stari grad je nacionalizacijom prešao u državno vlasništvo. Godine 1945. dvorac je pretvoren u dječiji dom, a značajne intervencije u enterijeru narušile su prvobitni izgled objekta. Ostrožac je bio vlasništvo Berksovih sve do 1946. godine, kada je uslijedila nacionalizacija, a dvorac je stavljen pod zaštitu države.
Od 1968. godine, u Starom gradu Ostrožcu organizirana je umjetnička kolonija skulptora. Djela nastala u okviru Kolonije skulptora “Ostrožac” čine zbirku suvremene skulpture na otvorenom, koja je otvorena za posjetitelje 1995. godine. U sklopu kompleksa Stari grad Ostrožac nalazi se 77 skulptura, od kojih su 15 nastale u Koloniji skulptora. Većina skulptura je istesana u autohtonom kamenu bihacitu.
Komisija za očuvanje nacionalnih spomenika 2013. godine donijela je odluku da Graditeljsku cjelinu – Stari grad Ostrožac proglasi nacionalnim spomenikom Bosne i Hercegovine.
