Bergs konditori startade i början av 1920-talet på Hospitalsgatan. Under 1930-talet öppnades en filial på Hamngatan 9, där Bergs finns idag. Konditoriet på Hospitalsgatan fanns kvar till början av 1940-talet. Huset där Bergs konditori håller till byggdes redan år 1881 som en sommarbostad åt två förmögna Göteborgsfamiljer.

Runt sekelskiftet fanns här sveriges första sparbank. Mellan åren 1907 och 1908 användes lokalen av flottan som officersmäss.
Den kände konstmecenaten Pontus Furstenberg bodde under ett antal somrar i den ena våningen. Gäster som Anders Zorn, Selma Lagerlöf och Essias Tegnér samlades här.

Det sägs också att Selma Lagerlöf skall ha suttit i den lilla trädgården bakom huset och skrivit på Herr Arnes penningar vars handling till stor del utspelar sig i och runt Marstrand.