姪や甥達と遊ぶのがつらい

私は、不妊症で夫と二人暮らしです。夫婦関係は良好。 もう何年も治療に通っていますが、なかなか授からず、 まあ、このまま二人だけの人生もいいのかな・・・と思い始めています。 夫の兄弟夫婦が近くに住んでおり、子供がいるため 頻繁に会う機会が多く子供の相手をよくさせられます。 先日、義理兄に子供（私達からみたら姪や甥）を 遊びにつれていけと言われ、少し気分がブルーなんです。 私は純粋に姪や甥たちをかわいいと思っています。これは本当です。 ただ、夫と私と姪甥たちだけで、遊びに行く・・・といくことが 悪くいえば擬似家族みたいな感じで、なんだかいやなんです。 子供がひょっとしたら一生できないかも知れず、夫に私達の 子供を抱かせてあげる事も、抱いている姿も見れないかも知れない のに私達の子ではない子供と家族みたいに手をつないであるくなんて とてもいたたまれません・・・・でも姪甥たちはかわいいし。 こんなジレンマというのでしょうか・・・心の中で葛藤していて 抜け出せません。 どなたか助言をいただけませんでしょうか？