夫の同僚の奥様とのお付き合い(アドバイス下さい)

夫と同僚は同時期に転勤で知り合い0の地方へ来ました。
近所に住むことになり、年齢が近いとのことで、奥様から『仲良くして下さいね』と言われたのですが、正直そっとしてて欲しいのです…

理由は夫が同僚ということ以外共通点がないこと。
あちらは小さい子供二人＋妊娠中。仕事には出られない。アウトドア派。
ウチは0。出来る可能性低い。求職中。インドア派。

先日お茶に誘われて遊びに行ったのですが、子供達から目が離せないし、私の話し相手もしなきゃいけないしで、奥様は本当に大変そうでした(予想していましたが)。
片方で下の子を抱きながら、もう片方でお茶を入れたりお菓子の準備をしていたり…

性格はとても良い方です。
でも共通の話がないので、私は何だか辛いんです。
来春、上の子は幼稚園に入ると聞いたので、そうすればママ友が出来て私と付き合う必要がなくなります。
その間の繋ぎならそっとしておいて…という感じなのです。
でも断ることは出来ないので頑張ります。
同様の状況の方、アドバイスお願いします。
(前の赴任地では妻同士の交流を誰も持ちたがらず、知り合い0でしたが、精神的に楽でした)