賀頓與孫楊在泳池內外都成為對手,其主項200、400及800米自由泳均會與孫楊碰頭。但自從知道孫楊是服食禁藥,賀頓一直力數對方不是,去年游泳世錦賽就拒與孫楊握手及同台合照。不過,成為「大白楊」公敵的生活並不好過,據報在里約奧運時,賀頓的父母已要保安人員保護;其一家在事後於網上受到孫楊粉絲攻擊,更有死亡恐嚇「在他的言論後,他和家人曾在24小時內收到900萬個惡意訊息」,電腦也曾被黑客入侵,其父親更被告知兒子的言論,成為6,000家媒體的頭條新聞。更嚴重的是,他的家園曾被人爆門入屋,泳池底部被故意散佈一堆破碎了的玻璃,家中圍欄更佈滿狗糞,晚上屋外也會傳來嘈吵的砰砰聲騷擾。據報惡行是以簽證到澳洲讀書的中國留學生所為,結果賀頓與家人要定期跟國家安全局及外交事務官員會面。