見合いサイトの出会いがイジメのきっかけに？

30代前半のジャジャと申します。 見合いサイトをきっかけに大好きな彼と出会い結婚し、いま３歳の娘と幸せに暮らしています。 いまマイホーム購入の為に土地を探しています。 そこで日当たり立地完璧な土地を見つけたのですが、旦那の同僚が多く住んでいる地域になってしまうのが気になります。なぜかと言うと旦那は見合いサイトで知り合った事を当初おおっぴらに同僚たちに話しており、いまだにあう度にからかわれるんだそうです… となると、子どもにも伝わっていじめられるきっかけにならないか心配でせっかく良い土地なのに躊躇してしまいます。 旦那に言うと『どうせ俺のせいだよ』と拗ねたり、『何も悪いことしてないだろ』と喧嘩になってしまいます。 私が心配性すぎるのでしょうか？ でもママさんって噂好きだし、旦那さんからそう聞いたらすぐ広まりますよね？ ちなみに子どもはすぐ言い返せるタイプでないので、いじめられやすいタイプだと思います。 後あとを考えてこの土地は諦めた方が安心でしょうか？