会社の先輩のデートの誘いに応えるべきか…

こんばんは。
入社２年目の女子会社員です。
会社の１つ上の先輩Aさんから飲みのお誘いをされています。

最初は飲み会で話すというかんじだったのですが、
今年の始め（１月）に、メールで二人で飲もうと誘われ、仕事帰りに飲みに行きました。
次（３月）に、休みの日に会おうと言われ、少し悩みましたが遊びに行きました。
その次（５月）に、また休みの日に遊ぼうと誘われて、その時は忙しいとうそで断りました。

とても良い人だし優しいし、けっしていやではないのですが、
付き合う対象としては物足りないというか、今一歩というかんじがしています。

私は付き合うのは尊敬し合える関係がいいと思っています。
元彼とは学生の頃からの付き合いで好きで付き合っていましたが、
社会人になってからそういう尊敬という考え方が加わり、
お互いずれを感じて、去年の年末に別れました。

A先輩は、仕事に対してあまり熱くなくて、つまんないからいつでも辞める覚悟だと言っています。
私は今仕事が楽しくて、そんなA先輩を尊敬することができません。
同じ会社なのに…そのずれが引っかかります。
それ以外の趣味の話などは話していて楽しいし、いいと思います。

そして、最近また久々に飲みに行こうと誘われました。
A先輩は３月から部署異動になり、今勤務場所は違うので、仕事で会うことはありません。
でも同じ会社内なので何か気まずいことにならないか心配で、
断るべきか、行くべきか悩んでいます。

私自身、今好きな人もいないので別に飲みには行きたいのですが…
会社の人でなければ全然行くのですが、噂とかにならないか心配で…

もちろん今まででA先輩と何も関係は全くありません。
ただ、好きな人いるの？とか、いい人できた？とかは聞かれています。
付き合うつもりがないのなら、行かないべきでしょうか？

助言お願いします。