会社の奥様との今後の付き合いについて…

夫の職場を通して知り合った奥様がいます。 わたしは子持ちですがその方は不妊症のようです。 とても仲良くしてもらっていてお互いの家も近所なことから 週に1～2回は家に来ないか？とお誘いをいただいています。 先日わたしは二人目を妊娠しました。 その奥様からはいつものようにお誘いが来たのですが つわりで体調不良なため正直に話しその日はキャンセルしました。 丁重にお断りしたつもりです。 それからしばらくしてまたお誘いが来ました。 その時はわたしは二人目を流産してしまったあとで お会いして赤ちゃんはどう？と聞かれたので正直に話しました。 その方は心配してくれて「でもあなたは妊娠できるんだから妊娠すら できない私よりもずっと上の幸せを行っているわよ。」と何だか ディープな話になってしまい心配してくれることへの感謝と 申し訳ない気持ちになってしまいまいした。 それからもその奥様とは変わらず仲良くさせてもらっていますが 週に1～2回の関係は続いたままです。 大人な付き合いとして親しき仲にも礼儀ありだと思っています。 会う頻度が多いと仲良くもなりディープな話もしたりお互いの距離は 縮まると思いますがかえって言葉遣いがなぁなぁになったり相手を 不快にさせる発言をしてしまわないかと心配です。 最近のわたしはそうなりつつあるので相手を傷つける言動をしてしまう前に 少し距離を置いて初心にかえり良い関係を築いていけたらと思っています。 失礼のないようにお断りするにはどうしたらいいでしょうか。 ご近所なので買い物などでも顔を合わせる機会があり嘘はつきたくありません。 奥様がどう解釈してくれるかもわからないので正直にこの思っていることを 話す勇気もまだありません。