Cette dénomination de "prison d'Alexandre" provient d'une légende locale, renforcée par un poème de Hafez, selon laquelle le conquérant grec se serait servi de ce lieu pour enfermer les indésirables. Rien n'est plus hypothétique, puisque les historiens ne détiennent même pas la preuve qu'Alexandre de Macédoine soit passé à Yazd. Loin de remonter au IVe siècle avant J.-C., cette construction abrite une école coranique construite au XVe siècle.