既婚上司の距離感とその後の対応について

既婚上司との距離感について、 1度残業で上がるタイミングが重なり、ご飯を一緒にしたことがありました。 その際に可愛い・また一緒に行きたいという発言があり少し疑問に思いながらも、タイミングが合えば...と流していました。 ですが先日あらためて2人でご飯に行きたいと誘われたため、 予定を合わせて2人で行くのはご家族に悪い..という旨を伝え、上司からも気を遣わせた・またの機会にとなりました。 元々コミュニケーションの取り方が独特な人なので、 今回も純粋に仲良くしようとしてくれただけなのかもしれませんが こういったことがあった以上、暫く2人きりになることは避けた方が良いのではと考えています。 シフト管理者のみに事情を伝え、可能な範囲で調整してもらったり・2人になるタイミングがあれば間に入ってもらいたいと思うのですが 何か直接的なことがあったわけでなく一旦話がついてるため、大事にはせずに黙っていた方がいいのかとも悩んでおります。。 みなさんでしたら、この場合どうされますか？ ご意見をいただけると幸いです。