どう思いますか？

直属の上司である（わたしより年下なのですが）方と
２人でゴハンに何度か行っています。
（私は好意を持っていますがなかなかかわいく振舞えず凹みます）
２人でいくのは秘密です。
（噂好きな会社なので女の子と２人でいって噂を立てられるのが嫌なようです）

大体は、いく日直前に
「今日空いてたらゴハンでもいかない？？」
と軽く誘われる感じでした。
今までは空いていたので普通にＯＫだしてたのですが
今回誘われた日はたまたま予定も入っていてお断りしたのですが

「今日以外ならいつでも空いてるので誘ってくださいね」
「今日以外？いく予定ないなぁ（笑」
いつもいやみ風に話されるのが悩みのひとつです。

それ以降誘われることもなく、なんとなく避けられている？
今まであったメールも好きなくなり寂しい気もちです
メールで
「今度ゴハンいきませんか？」とお誘いしてみましたが
「ぜひいきましょう」
と返事きたもののその件については、音沙汰なく付き合ってるわけでもないし
モヤモヤした気持ちです。


もう一度日にちを打診してみるか、もう追わずに成り行きに任せるか
悩んでいます。