自営の夫とパート勤務の女性

自営業の夫と、パート女性についてです。
夫は50代自営業、パートの女性は40代既婚子持ちです。
私は30代主婦です。
ちなみに必要な情報かどうかわかりませんが、夫とは子供が生まれてからレスの状態です。
夫の会社は基本的に、社員はおらず、平日も2人で仕事をしています。
昼ご飯も2人で食べ、時には昼間夫のプライベートの用事があれば､パートの女性も一緒に同行しているようです。
もっと言えば、旅行といえば経費になるからとそのパートさんプラス子どもたちも基本的に同行します。
失礼は承知ですが、そのパートの女性はお世辞にも綺麗とは言えません。
なので私自身も，モヤモヤはしつつ、仕事なので口出したくないと思い黙っていました。
近々私の誕生日があり、去年もそうでしたが、今回も経費になるからとパートさんと子供たちも一緒に行くようです。
一応現地では別行動ですが、、、
あーやっぱりと思いつつ､夫の仕事に私は
ノータッチなので､黙っています。
そして、来週末夫の趣味の釣りにそのパートさんを連れて2人で行くと言い出しました。
以前にも一度ありましたが、なぜか今回すごくモヤモヤしています。
というより、今まで我慢していたと言った方が正しいかもしれません。

以上の話を踏まえて、私は夫に本心は嫌だと思っていること、やめてほしいことを伝えるのはわがままでしょうか？

できるだけ多くのご意見お待ちしております。