地元に帰りたいが人間関係に不安

夫婦ともに25歳、二人揃って転職活動中です。
お互いの地元のどちらかに帰ろう、という話になっていますが、どちらにするかで悩んでいます。
私の地元は美しく住みよいところで大好きです。ですが、人間関係に不安があります。
私はきつい性格で、小中高と仲間外れにされたり嫌われたりすることが多かったです。
大学からは地元を離れました。
私も大人になり、昔ほど人間関係に苦労することは減りました。
地元は街としては好きですが、嫌な思い出が沢山あり、住みたいと思う反面、どこかで昔の知り合いに会うことが心配です。
実家に帰省した際にたまに昔の知人を見かけることがありますが、それだけで暗い気持ちになります。
私の地元は政令指定都市なので、私が帰ったからといって大きな噂が立ったりはしないと思います。
また、市の中でも地元から少し離れたところに住もうと思います。
ですが就職先に昔の知り合いがいるのではないか、過去の私を知る人が悪く言うのではないか、等々不安です。
このことが不安で就職活動に身が入りません。

上記程ではありませんが、夫の地元に帰ることも少し心配です。
夫の地元も綺麗で住みよいところで気に入っています。
夫の地元に帰れば夫の実家の近くに住むことになります。
今のところ、相手のご両親との関係は良好ですが、頻繁に会うようになれば関係が悪化するかも知れません。
今は一年に一度しか会わないためうまく付き合えているのかも知れません。
今は相手のご両親に好感を持っています。ご両親は「将来は老人ホームに入る」と言っています。
ですが、私たちが近くに住めば面倒を見て欲しいと言うかもしれません。
もしご両親との関係が悪くなれば、ご両親とは一生の付き合いになるので、私の地元で人間関係に悩む以上に悲惨になるかも知れません。
どちらの地元を選ぶべきでしょうか。