告白された後の付き合い方って

５年ほど前に趣味サークルの男性（Ａさん）に告白され、お断りしました。
しばらくは、気まずくて話しをすることもなかったのですが、半年たったくらいからは、普通に会話する仲にもどりました。

今も趣味仲間として仲良くやっています（と私は思っています）
Ａさんは私より一回り以上年上の方で大人だしきっと気をつかってくれているのだと思います。
私もそれに答えて自然に接しているつもりです。
今、私はその趣味サークルの仲間の男性のひとりと付き合っています。
サークル内も公認です。
彼は昔Ａさんに告白されたことがあることを知っています。

最近Ａさんが転勤でサークルを辞めなくてはならなくなり、送別会を開くことになりました。
私はそのサークル内で宴会係を担当しているので、普段通りＡさんの送別会を企画しているのですが、彼はそのことに対し良く思ってないようなのです。
「よく自分のふった相手の送別会を企画できるね。無神経じゃない？」というような事を言うのです。

私としては一応係だし、Ａさんの時だけ企画しないというのは不自然だと思うのですが、私は無神経でしょうか？？
Ａさんは私の態度に内心では快く思ってないのでしょうか？？
私はどのようにＡさんと接するのが適切だったのでしょうか。

ぜひ、ご意見をお聞きしたいです。
よろしくお願いします。