隣人の干渉で外出恐怖症です。

３０代の都内分譲マンションに住む主婦です。

お隣りに（多分）５０代のご夫婦一家が住んでいます。
初めの頃は凄く感じが好かったので、私もすっかり心を許してしまい、相手に聞かれるがままに、夫の職業や自分の趣味を話してしまいました。

ところが、最近は逢う度に変なことを言ってくるのです。
例えば
●「平日に私服の旦那さんを見かけたけど、旦那さんの会社景気が悪いって新聞に載ってたけど、失業されたわけではないわよね？」（その日、夫は有給取ってスポーツクラブに出掛けるところでした。）

●私が夕方出掛けようとすると上から下までジロジロ見て「主婦なのに夕方からお出掛けですか？」（学生時代の集まりで食事会に行くところでした。）

●私の趣味が、友達とのランチ・読書・テニスと前に話したことを覚えていたらしく「あなたの趣味は、このまま続けても何も残らないから無駄。もっと形に残る趣味を持った方が良い。例えば編み物や食器集めとか。」と言われました（私は、シンプル主義なので物は増やしたくありません）

●私にはまだ子供がいませんが、隣人宅に親戚の赤ちゃんが遊びに来たときに見に来るように無理やり呼ばれました（親戚の方は初対面だし、場違いな感じでした）

そんなわけで最近は、こっそりドアを開けて、隣りが外に出ていないことを確認してから出掛けるようにしています。
やっと買ったマンションなので引っ越すことは出来ませんが、このままでは気が狂いそうなのです。
たまにばったり遭ってしまうと、顔が引きつってしまう自分がいます。

心の中では「いちいち干渉しないでよ！」と叫んでいるのですが、気の弱い私には本心を言うことが出来ません。
私は今後どうやってうまくやっていけば良いのでしょうか？
真剣に悩んでいます。
どうか、どうかアドバイスをお願い致します・・・（泣）