Petty sa narodil v roku 1950 v Gainesville na Floride a mal drsné detstvo, ale podanie ruky od Elvisa vo veku 17 rokov vyvolalo záujem o rockovú hudbu. David Rolland z Broward Palm Beach New Times v roku 2014 išiel na trek, aby navštívil miesta dôležité pre Pettyho, vrátane jeho detského domova:
Prvá skupina Pettyho, Mudcrutch, žila na farme v Gainesville, ktorá bola „špinavá lacná“ a „ďaleko od susedov, ktorí by sa mohli sťažovať na hluk“, Gainesville Sun napísal v roku 2008.
Red Slater, priateľ skupiny, ktorý žil niekoľko rokov na farme, povedal Slnku:
Skupina sa presťahovala do Kalifornie v roku 1974, aby bola veľká, ale skupina sa rozpadla a niekoľko bývalých členov sa zišlo Tom Petty a Heartbreakers a zvyšok, ako sa hovorí, je história (hoci Mudcrutch sa v roku 2007 opäť stretol a vydal dve albumu).
Pettyho dom Encino v Kalifornii má pomerne dlhú históriu. V roku 1987 - rok pred tým, ako Traveling Wilburys (super skupina Petty vytvorená s Georgom Harrisonom, Bobom Dylanom, Royom Orbisonom a Jeffom Lynnom) debutovala
podpaľačstvo zapálilo drevené schody nehnuteľnosti, a takmer všetko okrem štúdia nahrávania suterénu sa stratilo. Petty a rodina prestavali miesto a podľa Realtor.com:A prichádzame do Pettyho jazera Sherwood na ústup. To bolo uvedené na predaj späť v máji, a je stále na trhu za 5,895 milióna dolárov. Miesto bolo nazvané Casa Della Madonna a bolo postavené v roku 1931 a je skôr ako jazero Como ako v Kalifornii. 5 300 štvorcových stôp majetku je takmer na aker so súkromným dokom. V obývacej izbe sú steny z miestneho prírodného kameňa a v roku 2004 sa k nej pridalo tiché majstrovské apartmá s hlbokou kamennou vaňou a balkónom s krbom.