見た目や年齢のせい？ご近所さんとの距離感

6軒ある新築の建売住宅に1年前に入居しました。 私たち夫婦は体格大きめの現在40代で、6歳と3歳の子供がいます。 ご近所さんは30歳前後のご夫婦で、1〜2歳のお子さんが1人ずついます。 お隣のご家族と（お子さんは2歳）家の前で少しの時間だけ遊んだ事が２度あったので、うちの子供たちはまた遊んでくれると思い、この前も夕方に作業をしているお父さんとお子さんの所へ行きお隣のお子さんと走り回ったり玄関前まで行ったりとしていました。 さらに、2軒のお母さんが赤ちゃんを連れて出てきたのですが、うち以外の方は年齢も近く雰囲気も似ており、普段からとても仲良くしている様子でした。 お母さん達は集まって話していましたが、人付き合いも苦手でだいぶ歳も離れているせいか、会話にも入れず私に対し冷たい印象をうけました。 うちの子は他の方の敷地内に入っていったりしてご迷惑をおかけしましたが、子供にも冷たい印象を受け、落ち込んでいます。 これから先は、挨拶程度であまり関わらないようにしようと思っているのですが、遊びたがる子供に対して何て言えば良いのか、また私自身、地元が遠方で友達や知り合いもいないので、淋しさもありモヤモヤしています。 同じような状況の方がいらっしゃれば、アドバイスお願いします。