どこまでが不倫？

既婚者の不倫について質問です。

ある人に気に入られて、時々食事をしたりしています。仕事を通して知り合った人で、個人的な感情はありません。
相手は、すごく私のことを気に入ってくれているのですが、奥様もいますし、私にも夫がいますので、それ以上どうにかなるようなことはありません。
けれど、彼の言葉は、愛しているこそは言いませんが、恋人にかける言葉と変わりないように思います。きれい。可愛い。他人とは思えない。身内みたい。声が聞けてうれしい。会えてうれしい。などなどです。携帯で私の写真を撮って「毎日見る」「毎日、おはようと、おやすみを言って」などと言うのです。

素敵な人ですので、おつきあいするのは構わないのですが、そういわれながら食事をしたりするのは、どうなのかと悩んでしまいます。

人のいないところで少し手をつないできたりします。同じグラスで飲んで、などといったりもします。

が、遅くなるといけないからと、約束した時間には帰してくれますし、お互い家族が第一だということは言わずもがなで、よく家族の話をしたりもします。

年が30近く離れているので娘のように見てくれているのかとも思うのですが、やはり色気を感じてしまうようなことを言ったりしたりします。

今以上のことがあるようならきっぱり会うのを断るつもりですが、今のような関係でいるなら時々あって食事をするのはいいのかなとも思います。

男として好きと言う感情はありませんが、素敵な人だと思うからです。

夫に後ろめたい気持ちと、仕事がらみだし別にこれくらいいいじゃない、と言う二つの気持ちがあります。

これはいけないことですか。