うまく断るにはどうしたらよいでしょうか

トピを開いてくださりありがとうございます。３０代前半の人見知り独身女性です。 　仲良しの友人と日帰り旅行に行くことになったのですが、友人が「旅行に（友人の）彼も行けたら行くって」と言い出しました。事前に私に彼を連れて行っていいかの確認はありませんでした。 　その彼には半年ほど前に一度会ったことがあるのですが、その時の彼の態度がとても悪かったので、正直私は彼のことが苦手でした。なので旅行前日に「彼ほんとに来ないよね？」と確認したら「やっぱり都合が悪いみたい」と言うので安心していました。 　ところが当日友人と待ち合わせると、「後で彼も合流するって」と言うので、私は「日帰りとはいえ、いきなり一緒に旅行は無理だから、私は遠慮するから二人で行ってきて」とお願いしたのですが、「大丈夫だよ。すぐ慣れるよ」と聞いてくれません。結局友人の彼は仕事が入り来れなくなったのでよかったのですが・・・。 　友人は私が彼を苦手な事に気づいていません。友人の彼を悪く言いたくないので本当の気持ちがなかなか言いずらくて。。彼優先になってしまうのは仕方ないですが、始めに一言連れて行っていいか聞いてくれなかった事もちょっと悲しかったです。 　出来れば友人の彼とは一緒に出かけたくないのですが、年末にまた二人で出かける話があるので、同じ事態になったらやはり正直に伝えた方がいいのでしょうか。