再婚妻　夫の前妻の子供と会うべきですか？

３０代、昨年ばついち子持ちの夫と結婚。私は初婚。子供は小学校低学年女児、親権は元妻、夫は毎月定額の養育費を払っております。

夫は毎月１回の面会をしており、大抵週末、わが家に泊まりにきます。

ご相談したいのは、その面会に私も参加することです。
離婚は子供には全く責任のない事で、親の都合で、ひとり親家庭で暮らすことになった夫の子供には、父親と会える時間を大切にして欲しいと思いますし、夫にも同じように、月一回の子供との面会時間は大切にして欲しいと思っております。

しかし前述の様に、面会時はいつも子供が家に泊まりに来る為、結果、私も一緒にどこかへ行ったり、ご飯を作って食べて・・ということになり、内心　複雑に思うこともあります。その為２，３回に１回は、私はその間、実家に帰ったりしています。家に来るのではなく、二人でどこかへ遊びに行ってくれるといいのにな・・などと、おとなげなくも、心の狭いことを思ってしまったり。夫は私が「今回は実家に帰るね」と言うと、必ず不機嫌になり、私を責めます。
頭では理解していても、夫と前妻さんとの子供、今現在　前妻さんが大切に育てている子供、とどうして私も一緒に面会しないといけないのか？夫と子供と、二人水入らずで過ごせればいいのでは？と。

子供は女の子なので父親が大好きです。私としましては、私なんかが一緒に行くと、父親を独り占めできず、子供にとっても複雑な感情を生まれさせてしまうのでは？とも思うのです。私が同席することは　私にも、そして子供にもツライ時間のような気がしてなりません。でも夫だけがそこを望みます。みんなで仲良くしたい、というのが希望らしいです。

このように面会に同席する事にモヤモヤしてしまう私は、人間的に未熟ですか？叱咤、激励、なんでも構いません。どう考えれば楽になれるでしょうか？アドバイスお願いいたします。
尚　子供と私は普通に仲良しです。