上司との二人飲みについて

私は既婚のアラフォーですが、10以上も年上の独身男性上司が好きです。 その上司との出会いは、もう15年以上も前のことになります。 課長だった上司のもとで、4～5年いろいろと指導していただき、可愛がっていただきました。 私もとても素敵な方だなあと憧れ、上司に認めてもらいたくて仕事を頑張ってきたものです。 その後数年はお互いに異動したり・・・で別々の仕事をしていたのですが、昨年その上司が部長として、私の部署に異動してきました。 相変わらず、私にとっては魅力的な上司でした。話し方やしぐさ、優しい笑顔、物腰の柔らかさが、まさに私の好みのツボにはまっているのです。 私もそれなりの経験を積んで、年も重ね、ますます上司に惹きつけられてしまって仕方がありません。 とても情のある方で、以前同じ職場の部下だった私をすごく可愛がってくれています。 その上司が、今年また他部署へ異動することになった時、私は思い切って「二人で食事にいきませんか？」とお誘いしてしまいました。 快い返事をいただき、以降は定期的に二人で飲みに行き、いろいろと相談したり、仕事や趣味の話をしたりして、楽しい時間をすごしています。 私も上司も節度ある大人でいるつもりです。 口説いたり口説かれたりということはいっさいなく、上司として部下として、もしくは人として好きだなあという好意のもとで、成立している二人飲みだと思うのです。 （といっても、私の気持ちの中には、上司に対する恋愛感情があると自覚していますが、これは表に出さないよう努力しています。） このようなお付き合いは、世間的には不倫と思われるのでしょうか？　 このままお付き合いしていくことは、上司にとっては迷惑なことなのでしょうか？ 皆さんのご意見をおうかがいしたいです。