社内で気になる男性との距離の縮め方について

初めまして。同じ社内の他部署の方が気になっており質問させていただきました。

相手は30歳　私は25歳。
同じ病院勤務ですが部署は違く、関わりが多い部署にいます。立場は相手の方が上であり社会的地位も高く、とても忙しい方です。（休みが週１から２日ほど）。
今年度より相手の方が移動になり、同じ職場になりました。歓迎会等ではあまり会話はせず。挨拶程度や目が合う程度でした。
２、３ヶ月前に相手の方の部署の送別会に呼ばれ参加。隣に座ることになり少し話しました。
その帰り道、二人きりになることがありそこで連絡先を聞かれて交換しました。

それ以降、メールは私からしますが、職場内では相手の方より話しかけられ雑談しています。
相手の方の時間が良いときは、外まで送るなどと言い会社の外まで雑談したり。
雨の日は車通勤の方で、帰宅時間が重なると駅までおくってくださいます。
会社内では、雑談したり二人きりの時は少しおちゃらけていたり、からかわれたりします。。

１ヶ月ほど前に私の方から、お礼といいメールで誘い食事に行きました。
そこでは、普通に雑談したり相手の実家の話なども聞け、また食事にいくことになりました。
日程が決まっていなかったため、私から誘い候補日も伝えられましたが、
相手の方の仕事の都合でキャンセルになってしまいました。代替えや別の日の提案がないのですが、
相手の方は１週間の予定などは私に教えてくださいます。

再度食事に誘いたいと考えているのですが、誘っても良いでしょうか？
また、職場が女性ばかりであり、厳しい女性の先輩ばかりで仲が良い目をつけられてしまいます。
その場合の対処方法も教えていただきたいです。
（特に違う部署で男性のスタッフと私が仲が良いと目を付けられてしまいます。）