W 1926 r. znany lekarz powiatowy i pierwszy przewodniczący Rady Miejskiej w Wejherowie dr Franciszek Panek (1858-1931) wybudował przy Szosie Krokowskiej willę dla swojej rodziny. Dr Panek pochodził z Lidzbarka Welskiego. Studiował medycynę w Berlinie i w Monachium. W 1887 r. zamieszkał w Wejherowie, gdzie ożenił się z Antoniną Szyszko. Miał z nią pięć córek.
W nowym domu, nawiązującym stylem architektonicznym do dworku Józefa Piłsudskiego w Sulejówku, zamieszkał jako wdowiec wraz z córkami Marią, Anną, Kazimierą i Stanisławą.
Kazimiera i Stanisława były szczególnie aktywnymi uczestniczkami życia politycznego, kulturalnego i społecznego Wejherowa.
We wrześniu 1939 r. z uwagi na dogodną lokalizację obiekt zajęli Niemcy i urządzili tu lokalną siedzibę powiatowej placówki formacji „samoobrony” (Selbstschutz). Stąd gestapowcy koordynowali organizację masowych egzekucji tysięcy ludzi w Lasach Piaśnickich. W piwnicach i w ogrodzie magazynowano odzież i przedmioty zrabowane zamordowanym. Wśród ofiar zbrodni piaśnickiej są dwie córki Franciszka Panka - nauczycielki Kazimiera i Stanisława Pankówny.
Po II wojnie światowej do willi powróciły córki dr. Panka: Anna Katarzyńska z córeczką Zofią i Maria Hosemann. Ostatnimi gospodarzami domu przed przekształceniem w siedzibę Muzeum Piaśnickiego byli Zofia Ostrowska i jej syn Krzysztof Ostrowski.
