遊びに来ていつもグチる主人の友人

主人の友人のグチが嫌でしょうがないです。
その人はお子さんが３人にいますが、全員健康で妊娠、出産も全くトラブルなく産まれています。それぞれ、1回の夫婦生活で授かったそうです。
その人の不満は、夫婦生活をほぼ楽しむことなく子供を授かったこと。それ以外、奥さんとはまったく夫婦生活がないようです。
そして、３人も欲しくなかったようです。

私は主人と結婚してすぐに流産を経験しています。そしてその後、なかなか授からず不妊治療をして、ようやく授かりました。
私からしたら、とてもうらやましい話です。
そして、聞いていてイライラしてしまいます。
私もそうでしたが、子供が授かりたくても授からない人はたくさんいます。私の友人も体外授精を何度もやっていて、辛い姿を見ています。
何の苦労もなく授かることができた人は、不妊で悩む人の気持ちはわからないのかもしれません。ましてや、男性は無理なのかもしれませんが。

それならまだしも、「可愛いのは3歳まで。それからは悩みが尽きないよ。手がかかるし。」とか、私が出産した後の夫婦仲の事を「今は仲良くやっているみたいだけど、産んだ後はどうかね。」とか言われ、私はかなり不快な気持ちになりました。
これから出産を控えた私を不安にさせて、どうしたいの？と思いました。
そして、その人は主人に「子供なんて、たくさんいらないよ。大変なだけ。」と何度も言っているので、主人も洗脳されてしまいました。
私もまだ１人目妊娠中で、気が早いですがもう1人欲しいというと、黙ります。

主人の友人なので、不快に思っている事を主人には話さず我慢しています。でも、限界が近づいています。うちにも遊びに来て欲しくないと思っています。
主人に素直な気持ちを伝えてもいいのでしょうか？次にうちに遊びに来た時に、その人に自分が思っている事を言ってしまいそうです。
どのように対応したらいいでしょうか？