奥手ですか？それとも社交辞令ですか？

以前働いてた会社の年下男性のことでご相談です。
部署がちがったのですが、業務上やりとりをしている方で、特に連絡先を交換するとか、飲みに行くことはなかったのですが、誠実に仕事をされる人柄を好ましく思っていました。

そんな折、私が会社を退職することになり、退職日に御礼のメールをしたところ、私の部署まで来てくださり、今度食事でも行きませんか、連絡先を教えて下さいといった内容のことを言われました。私は結婚しているので、連絡先はＰＣのもののみを人づてにお伝えしましたが、その後連絡が来ることはありませんでした。
退職後、私から1度だけお元気ですか、というメールを社内メールにしたのですが、「元気です、連絡ができなくてすみません。今は仕事が忙しいので落ち着いたら連絡しますね」といった内容の返事でしたが連絡がくることはありませんでした。

それから3年後、ひょんなことから飲み会でその方と再会しました。驚かれていましたが、普通にお話をして、あの時は長期出張が入ってしまい連絡ができなかった、ということを聞きました。その時は特に連絡先を交換しなかったのですが、後日私の方から会社メールに御礼のメールをし、ＰＣメールはあまり見ないのでと言って携帯の連絡先を書きました。（夫とはいろいろあり、家庭内別居をしており離婚の話し合いも進んでいるので連絡先を書いてしまいました。）
その後すぐに返信があり、今度こそ食事に行きましょう、また連絡しますねと言って彼の携帯の連絡先が書いてありました。

大分前置きが長くなってしまいましたが、そこから全然連絡がないのですが、これは社交辞令なのでしょうか。それとも奥手なだけなのでしょうか。
人づてに聞いたのですが、彼は外見上奥手には見えないのですがずっと彼女がいないようで（20代後半）かなりの奥手らしいです。
私から連絡してもよいのでしょうか。