ご近所さんが無視・・・・

結婚して、初めての土地での生活が始まりました。その時、一番に声をかけてくれた人がいるのですが・・
最初は、挨拶程度だったのですが、そのうち「家の中に入れて」といってきました。子どもも、同い年の子もいるので
仲良くしようと思いお誘いしたのですが・・「家の中のものが見たい」といわれたので、怖くなり家の中にはいれずにごまかしてきました。
また、主人の年収・私の仕事のやめる時（二人目が出来たらやめるべきだ）子どもが主人に似ていないなど二人の時に「えっ」と思うことを言われてしまい
私も挨拶程度で、距離をおきました。挨拶をしても、｢はあー｣という様子で、無視されています。近頃は、周りの近所の人に私がその人を無視しているようにいっているようです。
その人のほうが、子どもも多くこの土地での生活も長く、自治の班長もしていたこともあり、私が悪くなっているようです。
かといって、いまさらですし・・どのように対処したらいいかアドバイスをお願いします。
一番の悩みは、子どものことです。子どものために我慢して付き合うべきでしょうか・・・