Dvorac se nalazi u severnom delu grada Vidina, na obali reke Dunav, i poznat je pod imenom „Baba Vida“. Prema legendi, Vida je bila najstarija ćerka bugarskog bojara sa velikim posedima. Naučivši se iz neuspešnih brakova svojih sestara - Kule i Gamze, odbila je sve ponude za brak, sagradila neosvojivi zamak i provela ceo svoj život u njemu.

Takođe, legenda o prošlosti zamka je usko povezana sa burnim vekovima feudalne Bugarske. To je jedan od najbolje očuvanih srednjovekovnih odbrambenih objekata u Bugarskoj, izgrađen na ostacima zidina tvrđave antičke Bononije. Bugarska izgradnja zamka je počela u drugoj polovini 10. veka, a njegova glavna izgradnja datira iz doba Drugog bugarskog carstva (kraj 12.-14. veka).