苦手な人からまとわりつかれる

自宅でフリーの仕事をしています、兼業主婦です。
主人とは社内結婚でした。
自宅は主人の会社近くで、偶然にも元・同僚や上司など知っているご家庭が複数のマンション。
近所(かなり徒歩圏内)にも同僚家族が住んでいます。
たまに元・同僚's(主人にとっては現・同僚)とその奥さんを自宅に呼んでは、夕飯を一緒に食べたりなかなか楽しく過ごしています。

しかし、その中でとっても苦手な奥さんが1人います。
旦那さんである元・同僚は奥さんが初めての彼女で、あっという間にでき婚しました。
この奥さん、しょっちゅう
「今何してる～？」
と電話かけてくるのです。
「仕事してる」「家事してる」
というと
「そっかぁ・・・(黙る)」
え、切ろうよ！と思うのですが、切りません。
話も電話かけてきた割には自分から話さず、私が何か言うのを待っている模様。
自宅で仕事=楽と思っているらしく、いつも
「いいなぁ～」
と言います。(私はそう言われるのが苦痛)

依頼品・納品するものがあるので頻繁に宅配便の方が来るのですが、宅配便の方だと思って玄関まで急いで行くとその奥さんだったり…
はじめ何の用だろう?と思いドアを開けたら、用はないのになかなか帰ってくれなかったり…

勝手に想像して「いいなぁ、私なんて」を頻繁に言う人と一緒にいると、非常にいたたまれない気分になります。
メールは2・3回に1回しか返信しないし電話も即切るようにしています。
邪険とまではいかないけれど、かなりそっけないと思います。
なのにしつこい。

旦那さんである元・同僚と主人は仲の良い友達だし、私も元・同僚は好きですが、奥さんが本当に苦手で困っています。
恐らく寂しいのだと思います。
が、残酷ですが私は一緒にいると気が滅入る人のために時間を割きたくありません…
大変困っています。