さらっと聞き流せない・・

結婚６年目のさらりんです。 義理の両親との仲は、距離をおいて普通につきあっているというかんじです。ただ、結婚当初から義両親が「子どもをそろそろ考えては？」第一子がうまれて３年目の今年は「二人いると楽しいわよ」等、さりげなく、子どものことを、夫に時々尋ねています。 私に直接たずねることはめったになく、全て夫に向けられた質問だとわかっているのになぜかいい気持ちはしません。 夫に、そう、言われていること自体、不愉快だというと、「何をナーバスになっているんだ、俺らのことは俺らが決めればいいだろう？」とこれまた、普通の答えがかえってきます。 確かに私が不愉快になる理由はどこにもないのに、私は夫が「そうだなあ、ちょっと失礼な質問だよな」といってくれないばっかりに、いらいらしてしまうのです。 同じような体験をされたかた、いらっしゃいますか？ どのように対処されていますか？他愛もない悩みだとわかっていますが・・アドバイスをお願いいたします。