Prije no što je postao slavan, Tom je bio u trogodišnjoj ozbiljnoj vezi s britanskom glumicom Susanah Fielding koju je upoznao na setu „Wallandera“. Ljubav se rasplamsala 2008., a potrajala je do 2011. kada je Tom doživio planetarni uspjeh te se morao zbog posla preseliti u Los Angeles. Tako je njegova veza propala, a on dugo nije bio povezivan s niti jednom drugom slavnom damom – sve dok mu 2016. u život nije ušetala američka pjevačica Taylor Swift. Slatka južnjačka ljepotica zavela je Toma te su proveli zajedno nekoliko strastvenih mjeseci, no na kraju se sve neslavno završilo, a njihov je prekid bio vrlo dobro medijski popraćen. Naime, navodno je Taylor, koja je inače poznata kao serijska slamateljica muških srdaca, odlučila reći zbogom Tomu nakon 6 mjeseci veze, a on to nije dobro podnio. Prema riječima njegovih prijatelja bio se jako zaljubio te mu je prekid zadao teški udarac na ego i osjećaje, dok je mlađa Taylor spremno krenula dalje u nova osvajanja. Ovo je ujedno bila i jedina Tomova romansa koja je izazivala veliki interes javnosti.