会社の人との飲み会

下記について皆様の意見をお聞かせください。

 私、同僚(後の彼氏)、会社の取引先の男性(既婚)、その後輩の4人で飲みに行きました。 取引先の男性は数ヶ月に1度県外からうちの会社に来る人で、次回もこの4人で飲みに行こうと言われ
 2ヶ月程前から予定をしておりました。
 ただ、1度目の飲み会の場でその男性が良くも悪くも男女に垣根なく接する人だと言うことが分かり同僚はかなり嫌悪感を持ったそうです。

 そのこともあり、2度目に誘われた際には同僚(この時には彼氏になってました)は参加を断り
 当日弊社に来たのがその男性だけだったことから私たちは2人で飲みに行くことになりました。

 私の意見としては
 何ヶ月も前から決まっていた予定
 誘ったのに彼氏が個人的な嫌悪で断った結果2人で飲むことになった
 県外から来ており、人数が揃わないから次回に持ち越しがしづらい状況
 そもそも取引先の会社の人間
 飲み会も1次会のみ21:00解散している

 彼氏の意見は
 そもそも自分が嫌いと分かっている人間と行くのが信じられない
 男女関係にボーダーが無さそうなタイプなのに行く心理が理解できない
 2人になったことが分かった時点で連絡が欲しかった

 と、意見が分かれています。

また1度目の飲み会の時にお互いの呼び方を仕事とは別にして呼ぼうという提案をされ、結果私は下の名前を呼び捨てされる事になりました。  その時は場の雰囲気もあり了承してしまったのですがやはりモヤモヤしてしまうため、2度目の飲み会の時には別の呼び方に改めてもらうようにお話しをしました。 彼氏には呼び方を改めてもらった話しをしたのですが、そもそも呼び捨てを1度了承したことにも引っかかっていたみたいです。

 この場合、私はどうするべきだったのでしょうか。
 また今後どのようにすればよいでしょうか。