再婚同士の家計管理について

再婚５年目のパート主婦。　　私４０代後半。夫５０代前半です。

現在の状況ですが、夫には子供３人おります。２人は既に近所に住み孫も誕生しております。もう一人は未成年で現在別れた母親と同居しております。

私は子供２人いて、息子は遠方に就職し、現在２５歳。娘は近くに一人暮らししております。２２歳。ともに独身です。

そこで相談なのですが、夫には３人の孫、義母父、義姉２人、他親戚が大勢おりますが
私は両親を既に亡くしており、親戚もほとんどなく（兄弟のみ）付き合いも質素です。

しかし夫の身内の付き合いが多くて出費も当然多いのです。
孫の誕生日、お年玉等、義母父への援助、兄弟（生活保護を受けている）への付き合い、
冠婚葬祭。孫を連れて毎週、食事をしに遊びにやってくるので食費もすごいのです。

夫の子供は、どこへ行っても夫に出させます。夫も出すのが当然みたいです。それに関して私は口を挟みません。私が家計を管理してるので、時々私に遠慮してるのか夫の小遣いから出す場合もあります。
私の子供二人は、ひとり親家庭で育ったせいか、親に負担かけないで自動車学校の費用も自分たちで働きながらとりました。もちろん私をあてにしていません。それは親として助かっております。

この先、ほとんどが夫側の出費になりそうです。
それと相談からズレてきますが、再婚同士の為、夫の財産はみんな注目してるようです。
私は夫の財産なんてあてにしていません。私が管理してるのも気になるようです。
夫側の出費があるたび少し険悪な雰囲気になります。夫はストレスをため込むので
不満な時は空気が悪くなります。正直面倒くさくなりました。

我が家の場合、家計を夫に任せた方が正解なのでしょうか。