どう答えたら無難でしょうか？

夫婦ともに特に子供が欲しいと思ったことがないので 子供は産みませんでした。 体は健康ですし、複雑な家庭で育ったトラウマがあるわけでもありません。 子供がいないことについて寂しいとも思わないし後悔もしていません。 でも色々な場所で「あなたお子さんは？」と訊かれて 「うちはいないんですよー」と笑顔で答えると、 お相手は「あらやだ、ごめんなさいね！」とか、 無言で気まずい顔をされたりします。 きっと気を遣ってくださるのでしょうが、 なんだか申し訳ないやら、気疲れするやら・・・で。 それで一度は、 「私達は夫婦二人だけで暮らしていこうと思って結婚したんですよ」と話したら、 今度は、陰で「あの人、子供嫌いなのよー」とヒソヒソと噂されていました。 （子供は特に嫌いではありません。） 他には、「あら～優雅でいいわねー」とおっしゃる方もいて、 私にはむしろこちらのほうが素直に 「はい、毎日マイペースなんですよ」と笑顔で答えてスムーズに会話が終わります。 でもこれは皮肉だと受け取る人もいるんですよね？私はそう思わないんですけど。 だからこんなふうにサラッと反応してくれる人も少ないのです。 「あら！ダメよ。あなたみたいな頑丈そうな人は３人くらいポンポン産まないと！」と年配の方に言われた時は、 「やだ～、ポンポンだなんてーあはははは」と私が笑ったら周囲も大笑いでこれが一番雰囲気がよかったです。 でもこれも言われたほうが不快なら今の時代はセクハラ扱いになるんですよね？ なので、こんなふうにあっけらかんと反応してくれる方も殆どいません。 世間では「子供がいない＝可哀想」という考えが主流なのでしょうか？ でも私は幸せなので可哀想だと思われるほうが辛いです。 お相手に気を遣わせず、お相手に嫌な印象を与えず こちらの事情を理解してもらうには、 どんなふうに対応したらよいと思いますか？