Die Ursprünge des bauhistorisch wertvollen Niederen Kornhauses liegen im 15. Jahrhundert. Als Kornspeicher erbaut, wurde es außerdem als Zeughaus für die Geschütze und Verteidigungswaffen der Stadt genutzt. 1835/36 erfolgte der Umbau zum Gefängnis im Rahmen der Angliederung an die Haftanstalt Schloss Osterstein. Nach der Auflösung des Strafvollzuges diente es noch bis 1990 u. a. als Lager- und Bürogebäude.
Noch zu Beginn der 1990er Jahre dem Verfall preisgegeben, ist es heute - nach aufwändiger, detailgetreuer Sanierung - ein Denkmal von nationaler Bedeutung und der größte existierende mittelalterliche Kornhausbau Sachsens.