Tvrđava Kale je manje utvrđenje sa kulama i zidinama. Sastoji iz tri dela: gornjeg grada sa donžon kulom, srednjeg dela sa bedemom i dve kule najnižeg – donjeg grada sa bedemom i zidanim jarkom.

U različitim vremenskim periodima tvrđava je nosila različite nazive TURRES (kula), Pirgos, Thurib, Momčilov grad i Kale koji se danas najčešće koristi. Arheološkim istraživanjima srednjeg dela grada Pirota utvrđeno je da je na tom mestu bilo naselje još pre 5.000 godina, a otkriveni su i drugi tragovi iz eneolita i gvozdenog doba, antike, rane Vizantije i srednjeg veka.

Vezano je za period vladavine vojvode Momčila, pa se zbog toga naziva i Momčilov grad. Podignuta je za vreme kneza Lazara Hrebeljanovića (1371-1389). Osmanlije su uspele da ga zauzmu, ali ga je 1386. godine povratio vojvoda Dimitrije, što je bio jedan od povoda za Kosovski boj 1389. godine.