義父が苦手で辛いです。

長文ですが、よかったらご意見を聞かせてください。

主人の義父が苦手です。義父は義母の再婚相手で義母より10歳ほど年下です。

義母も主人も口数が少なく、優しく上品で、とてもいい人なのですが、義父は正反対で騒がしく、品もなく、本当に「オヤジ」という感じです。
義父は土日も働いているので滅多に会わないのですが、たまに会うと失礼なことばかり言います。
2歳の娘の髪型についても「ボサボサだな、おい」や「旦那（主人）はいい男なのに、全然似てないな。嫁さん（私）そっくりだ」としつこく何度も言ったり。（私が無視してるせいかもしれないですが…）

お食事会では、うちの父にもキャバクラや浮気の話をしたり、一緒にいる数時間が辛く、腹が立って仕方なかったです。
（主人にはさりげなく言いましたが、あまりピンと来てないようでした。）

主人が夏休みに義母を招待して、旅行に行きたい、というので、OKをしましたが、「義父の休みが○○日だからこの日にしよう」と言い出しました。

義父が一緒に行くとは思っていなかったので、愕然としました。

うちには3ヶ月の娘もいて、産後で疲れやストレスがたまりやすく、さらにあの義父のおしゃべりに3日もつきあうなんて…考えただけでぞっとします。

私はいつも自分の実家に娘を連れ歩いているので、主人の家族とも娘を仲良くさせたいらしいのですが・・・。

さらにご招待なので、義父の分も出さなければいけない、ということも腑に落ちません。私たちは共働きで私のほうが収入が多いので、その貯金のなかから出すということになりますが、正直、私は義父にお金を出したくないんです。（義父といっても、お金の面でお世話になったことはありません。）

「私は赤ちゃんと留守番するから、2歳の娘と一緒に行ってきなよ」と話しましたが、我慢して一緒に行くべきなんでしょうか。ご意見、宜しくお願いします。