Im Jahre 1725 erwarb "Balley Secretari" Hannß Georg Geiger das heutige Anwesen Hausner Gasse 4.
Vermutlich ab 1738 ließ die Familie Geiger das jetzige Gebäude erbauen, das zu den prächtigeren Wohngebäuden in Ellingen gehört. Im Grund- und Aufriss ist der Walmdachbau ein Nachzügler des Kellerschen Bürgerhaustyps, jedoch ohne Zwerchhaus und damit ohne dessen aufwärts strebende Dynamik. In der Figurennische steht als Hauptzier eine "Immaculata" von Johann Wagner.
Unter Landkomtur von Lehrbach kaufte der Deutsche Orden 1772 das Gebäude und baute es bis 1774 zum "Teutsch-Ordens-Gymnasium zu Ellingen" um. Als sichtbares Zeichen eines jeden öffentlichen Gebäudes in Ellingen erhielt es nun einen Dachreiter mit Glockenständer. Nur wenige der Dachreiter in der ehemaligen Residenz haben sich erhalten. Den Unterricht hielten zunächst die Franziskaner aus dem gegenüberliegenden Kloster. Die Lateinschule bestand mit Unterbrechungen bis 1868. Das Gebäude blieb bis heute im Besitz der Lateinunterrichtsstiftung bzw. der St. Elisabeth Hospitalstiftung. Später folgten Nutzungen als Grundschulräume und als Lehrerwohnung. Von 1982 bis 1997 beherbergte es das Postamt, heute eine Allgemeinarztpraxis.