これってどうなの？

こんにちは。
携帯から投稿なので見にくいかもしれませんが相談に乗ってください。

私20代前半
夫20代前半
子供なし

夫には小学生の子供が居ます。
前の彼女との子供です。
子供が産まれた時、結婚できる歳ではなかった為、結婚はしていませんでした。
そのまま彼女の方が子供も連れて出ていき、調停の末親権はあちらにいきました。
今は毎月かかさず養育費を払っております。
養育費を払うのは私からしても夫の責任なので当たり前と思っておりますが、正直生活がカツカツです。
普通より多い金額なので。

本題なのですが、今まで相手はシングルだと思っていました。
しかし私達より前に結婚していた事を最近知りました。

しかも夫と別れて調停中からお付き合いしていたとの事。
彼女の旦那さんはお金に余裕があるらしく、家も建てたそうです。
夫は子供に一度もあっていません。
きっと彼女の旦那さんは子供が小さい時から一緒に居たので、子供も本当の父親と思っています。

養育費は払う必要があるのでしょうか？