Golubačka tvrđava se prvi put pominje u 14. veku, iako se ne zna tačan datum njenog nastanka. S obzirom da u sastav četvrte kule ulazi između ostalog i pravoslavna kapelica, može se zaključiti da je osnovu tvrđave podigao neki od pravoslavnih velikaša, vrlo verovatno srpskih, dok se finalni radovi pripisuju Turcima koji su ojačali nekoliko postojećih kula i sagradili poslednju, desetu, koja je kontrolisala Dunav.

Neko vreme, Golubačka tvrđava bila je u rukama kneza Lazara, ali je nakon Boja na Kosovu pripala Bajazitu I. Nedugo potom prisvojili su je Mađari, a onda se ponovo vraća u srpske ruke, despotu Stefanu Lazareviću. Nakon njegove smrti, Golubačka tvrđava biva predata Turcima, koji Golubac i još nekoliko gradova 1867. godine predaju knezu Mihailu.

Golubačka tvrđava sastoji se od prednjeg, zadnjeg i gornjag grada. Osim pomenutih deset kula tu su i dve velike kolske kapije, kao i spoljni zid šanca za koji se pretpostavlja da je bio pun vode. Grad je sa stenom Babakaj povezan glomaznim lancima, što je nekada omogućavalo apsolutnu kontrolu drumskog i rečnog saobraćaja kroz đerdapsku klisuru.Devet kula je četvorougaonog oblika, dok je samo jedna u donjem delu poligonalna, a u gornjem cilindrična. Zbog toga je dobila naziv Šešir kula. Za Šešir kulu se vezuje i legenda o nastanku imena Golubac. Naime, u ovoj kuli je bila zarobljena Jelena, vizantijska princeza. Tužna i usamljena, počela je da se druži sa golubovima koji su joj uskoro postali i najbolji prijatelji.

Druga legenda govori o Golubani, devojci izuzetne lepote koja je opčinila turskog pašu. Činio je sve kako bi pristala da se uda za njega, ali ona bi ga svaki put odbila. Zato je paša naredio da je vežu za stenu koja je bila u Dunavu. Nakon dugog mučenja, njeno telo prepustili su pticama koje su ga rastrgle.