1585.a pärandab kuulus väepealik Pontus de la Gardie oma vanemale pojale Johannile Raasiku mõisa. 
Poeg võtab naiseks tuntud Rootsi riigitegelase  Christer Oxenstierna tütre Catharina. Neil sünnib kolm tütart. Vanim ja pärija Beate (1612-1680) abiellub kuulsa Rootsi väepealiku ja kuninga sõbra feldmarssal krahv Lennart Torstensoniga (1603-1651). Raasiku mõis läheb Torstensonide omandisse.
1641.a sünnib neil poeg Anders. Feldmarssal sureb  kui poeg on alles 10-e aastane. 1657.a ostab ema pojale Stockholmi külje all oleva kuulsa Penningby lossi, kus poeetilise hingega nooruk veedab oma kujunemisaastad.
1674 (-1681a) aastal määrab kuningas Karl XI (1660-1697) Anders Torstensoni Eestimaa kindralkuberneriks. Anders saabub tagasi oma vanaisa maale. 
Penningby loss Stockholmi lähistel müüakse. Andersi lauamõisaks saab Viimsi mõis.  Oma Raasiku mõisast 1664.a eraldatud maal alustab ta uue Penningby, suurejoonelise mõisa kavandamist. Plaanid polnud aga määratud täitumisele Andersi ootamatu surma tõttu 1686.a. 
Penningby mõis müüdi feldmarssal von Königsmarcile, kellelt see aga 1688.a mõisate reduktsiooni käigus ära võetakse. 
Harjumaa 155-st mõisast 83-s muutusid mõisnikud omanikest rentnikeks ja pidid asuma sõdades tühjaks jäänud Rootsi riigikassat täitma.
1665. ja 1683.a oli ooberst Claes Johann Baranoff saanud Rootsi kuningalt maavaldused Soomes (Karjalas). Ka need olid reduktsiooni käigus ära võetud. Mõisnikest said oma kuninga varjatud vaenlased. Hea rootsi aeg osutus kahjuks lühiajaliselt heaks vaid talupoegadele, kes mõisnike pärisorjast kuninga alamateks kuulutati!
Venemaa ootas Rootsi nõrgenemist ja 1710.aastal vallutaski Eesti alad. Aadli kallutamiseks oma poole lubas Peeter I neile mõisad tagastada.
Von Baranoffide pärijad taotlesid juba Rootsi ajal redutseeritud Soome  valduste asemel kompensatsioonina Asseri ja Penningby maavaldusi. 1691.a oli viimane läinud küll von Nierothite (Carl Gustav oli 1709-1710 Eestimaa kindralkuberneriks) haldusse ja hiljem ka Stackelbergide valdusse, kuid samal 1691 aastal oli väga suurte volitustega reduktsioonikomisjon kirjalikult tunnistanud von Baranoffide omandiõigust Penningby mõisale.
1716. aastal sõlmiti von Baranoffide pärijatega (kapten Derfeldeniga, kes oli Baranoffi tütremees), Penningby mõisa rendileping.
1723.a ostis mõisa imperaator Peeter I  ja kinkis selle oma naisele Katariina I  "apanaaziks ja Kadrioru lossi ülalpidamiseks".  Peale Katariina surma mõis müüdi.
Baranoffide pärijad ei jätnud aga jonni. 1726-1733 anti tsaarile uusi taotlusi ning 1733.a keiserlik Senat andis Penningy mõisa Baranoffide omandisse.
18. sajandi  teisel poolel ehitasid von Baranoffid mõisa kahekorruselise hilisbarokse peahoone ja mõisasüdame. 
1905.a 20. detsembril panid ülestõusnud peahoone põlema ja tapsid Artur von Baranoffi. Karistussalklased omakorda hukkasid mitu lähikonna ülestõusjat, nende seas käsitöölisest peninglase Jaan Sonni. 
1907.a müüs Baranoffide perekond  206 aastat nende valduses ja omanduses olnud mõisa.
Mõisa viimane omanik oli Werner von Schilling. 1919 a mõis riigistati. Hiljem asus mõisahoones nii kool, Peningi sovhoosi- kui ka kolhoosi osakonnakeskus. 
1980-ndate aastate lõpupoolest algas mõisahoonete rüüstamine, laastamine ja lagastamine. Mõisasüda muutus prügilaks. 
Alates 2007.a kuulub Peningi mõisasüda perekond Haug' ile, kes võimaluste piires ja hoolimatute kiusteks püüab ajaloolist paika  takistada unustusse vajumast.