Az épületet eredetileg a fürdővendégek szórakoztatására építették, amikor is a savanyúvízi fürdőtelep kiépülése kezdődött. Az épület az 1800-as években vendéglőként üzemelt a Tihanyi Bencés Apátság tulajdona alatt, azonban Neumann Lázár bérelte ki. 1826-ban tűz ütött ki, így felújították, és Arany Szarvas néven nyitották meg 1830-ban. Ezután lett később Kisfaludy Sándor iránti tiszteletből Kisfaludy vendéglő. 1914-ben a vendéglőt „mozgó színházzá” alakították át, ahol mozi és színészi előadásokat rendeztek. Ekkora cukrászda és ruhatár is kialakításra került az épületben. 1922-től egészen 2004-ig Kisfaludy Filmszínházként működött. 2004 óta az épület a képzőművészet otthona lett, amely a mai napig üzemel. 

Jelenleg időszakosan különféle kiállításokat, és programokat szerveznek meg a Kisfaludy Galériában. A Galériába belépve egy hatalmas térrel találkozhatunk, így könnyen helyet adhat nagyobb kiállításoknak is. A galéria rendelkezik még ezen kívül egy felső szinttel is, ahol további kiállításokra is sor kerülhet.