ダブルブッキングご指南ください。

はじめまして。よろしくお願いします。

双方があまり好意を持っていない方同士からお誘いを受けてしまいました。
AグループとBグループとします。最初私は仕事終わりの夜にBグループより飲み会に誘われました。
もちろん、行きますと返事をしてます。
次にAグループのレジャーの話を聞きました。そのレジャーは飲んだ次の日の早朝から出かけるそうで、私も興味のある内容だったので、色々その事について話し込んでいると、横からBグループの一人が割り込んできて、（Hさんとします）
「でも前の日飲むじゃん」と言われたので、私も行きたいけれど、足もなかったので、無理だと言う話しをしておいたのですが、2日後、Hさんが気を使ってくれたのか、私が行きたいと言っていたという展開になっていたのです。
Aグループの中には私の友人もいて、彼女には色々お世話になっていて、彼女は私が行く事に安心している様子でした。
一方BグループのHさんは私の友人が苦手で、私がそのレジャーに参加する事にいい顔をしません。
もともと幹事は私に直接誘いをかけてくれたわけでもありませんでしたし、そんなに大人数で行くという話でもなかったそうで、そんな中に突然割り込んで参加するのもおかしい気もします。
私が入って、もともと決まってる人数体制を崩してまでご厄介になるのも申し訳ない気がしています。
私は参加出来れば嬉しいな、というくらいの気持ちです。
皆で行きましょうという提案もしたのですが、私の友人が行くなら行かないとHさんは言います。
友人も誘っていましたが、はやり行かない、と。
この際両方とも参加にしようと思っていますが、幹事の方からは、ここまで来れるなら一緒に連れて行くけど。と言ってくれていますが、その場所まで自転車で40分位かかります。さすがに飲む時間をそのレジャーの為に削る勇気もなく…とても悩んでいます。