夫が前妻との子と会うことについて

バツいち男性と結婚して５年になります。彼には前妻との子が一人（１０歳）おり元妻が引き取っています。そのことを承知で結婚しました。最初は子供に罪はないので夫もその子に会いたいときに会えばいいと思っていました。しかし５年経っても私は子供ができず不妊治療中のストレスからか、その子の存在が憎らしくなってきました。そんなに頻繁に会っているのではないのですが、その子に会うことを知りたくもなくなりいちいち私に言わないで、と夫にお願いしました。しかし、言われなくても帰宅時間や感でわかるものですね。それがまたイライラしてしまいます。
私は子供が大好きで養護施設で働いていました。かわいい子供たちを親の勝手で捨てられ、心から不憫に思い一生懸命愛情を注いできたつもりです。なのに自分のことになるとこうも感情を抑えられないものなのか、今までの私は偽善者だったのかとショックでもあります。稚拙なわがままだとはわかっていてもどうしてもイライラを抑えられず夫に冷たくあったってしまいます。自分の心がせまいのは重々承知しています。うまく考えを改められるようみなさんのお知恵を貸してください。厳しいご意見もかまいません。何とかして考えを改めたいと思っています。