Wie der Chronist Tobias Schmidt berichtet, ließ Martin Römer - seit 1474 Amtshauptmann von Zwickau – 1481 das Kornhaus „gemeiner Stadt zum besten“, d. h. für seine Stadt errichten. Wegen seiner Lage im mittelalterlichen Stadtgrundriss wurde es als das Niedere Kornhaus bezeichnet. Das zeitgleich von Römer erbaute, etwas kleinere Obere Kornhaus am ehem. Frauentor wurde um 1895 abgebrochen. Durch dendrochronologische Untersuchungen (Holzaltersbestimmung) an Konstruktionshölzern des Dachstuhls konnte mit der für den Winter 1480/81 ermittelten Fällzeit die chronikalisch überlieferte Erbauungszeit bestätigt werden.
Das Kornhaus diente vorrangig der Lagerung von Getreide, war aber auch wesentlicher Teil der mittelalterlichen Stadtbefestigung. Es stand mit dem an der nordöstlichen Gebäudeecke vorgelagerten Wehrturm – sog. Tuchmacherbastei - unmittelbar am Stadtgraben und setzte mit seiner nördlichen Außenwand die Zwingermauer fort. Die südliche, der Stadt zugewandte Außenwand verlief in der Flucht der eigentlichen Stadtmauer, so dass das Kornhaus an seinem Standort den gesamten Zwinger zwischen dem doppelten Mauerring ausfüllte. Gemeinsam mit Schloss Osterstein übernahm es eine wichtige Verteidigungsfunktion im ehemaligen Befestigungssystem.
Im Dreißigjährigen Krieg hielt das Kornhaus 1632 heftigem Artilleriebeschuss stand, wurde zwar beschädigt, aber nicht zerstört.
Ab dem späten 16. / frühen 17. Jahrhundert findet sich auch die Bezeichnung Zeughaus. Eine entsprechende Nutzung vornehmlich des Erdgeschosses ist bis 1782 belegt. Im gleichen Jahr verkaufte die Stadt das Kornhaus an den sächsischen Staatsfiskus.
Für den Zeitraum 1511 bis 1782 ist eine Dacheindeckung mit Schiefer belegt.
