Начнем с истории о бывшем владельце особняка. Василий Громов был одним из богатейших купцов и меценатов Петербурга, садоводом и поклонником старообрядчества. Под брендом «Громов и Ко» он строил лесопильные заводы и занимался поставками леса. В 1848 году он покупает земли и заказывает архитектору Георгию Винтергальтеру в старинном Лопухинском саду дачу в два этажа, а Александру Горностаеву — комплекс из нескольких оранжерей по соседству. Так начинается история «дачи Громова».
Этот дом Громов строил с любовью и для себя, сам подбирал растения для оранжерей. Особняк имел мировую славу: в мае 1869 года в Петербурге проходила международная выставка садоводства и один из дней программы был посвящен саду Громова. Иностранные гости были восхищены проектом купца, высадили в парке саженцы Gromovia pulchella и украсили их этикетками со своими именами.