誘われた飲み会、参加してもおかしくない？

40代専門職女性です。 非常勤で、とある職場に半年ほど、専門調査員として勤務しています（本職は別の研究機関です）。 そこでは、すでに数年前から、同様の立場で、同じ年代の女性（Aさん）が専門調査員として勤務されています。 職場は、5歳ほど上の男性上司のもと、私と同世代の男性3名、女性2名ほどのグループです。全員、専門的知識のあるハイレベルな方たちで、Aさんと私は、別の方面からの専門知識を提供しています。現在、あるプロジェクトに向けて、この部署で集中的に業務を行っており、月3回ほどの勤務ですが、普段からメールで頻繁に交流があります。 先日、Aさんと私が、この部署で開催される暑気払いに誘われました。私としては、この部署のメンバーとお知り合いになれる機会なので、参加するつもりでしたが、Aさんは予定があり参加できないとのことでした。そうしますと、私が参加する場合、この部署の正規のメンバー＋部外者の私ということになります。これは、誘った側としては困る状況でしょうか（話したい内輪話が話せない等？）。 Aさんは、すでに部署の方とも親しく、慣れている感じです。私はまだ距離感があり、そこまでお互いを知りません。そのような状態で、私が参加すると、誘った方も困るかな、などと考えてしまいます。「Aさんとセットでと思っていたのに・・・」などと思われていたら・・・と迷ってしまいした。とりあえず、日程を確認する旨伝え、保留にしています。 ただ、今度、この部署のメンバーの1人（女性、実際にお誘いの連絡をしてくれた方）と二人で出張に行くことなり、少し距離を縮めて置いた方がいいような気もします。このような状況で、暑気払いに参加することは、客観的に見て（特に開催側の部署から見て）、いかがなものでしょうか。「イタイ勘違い」は避けたいと思います。