辞めた会社の取引先の人との会食

夏に辞職しました。 その時の取引先の方から、忘年会と称した会食のお誘いがありました。 おそらく私とその方(男性)だけだと思います。 行くべきでしょうか。 その方とは在席した時も話しが合い、一度2人で 飲みに行きました。 私は行く事には特に嫌な気持ちはないのですが、 なんとなく、私の事を気に入ってくれてる雰囲気です。 相手の方は独身65歳くらい、私はアラフォー独身で、 私は全くそういった気持ちはありません。 のこのこ行くのも良くない気がして… もう連絡自体しない方が良いのでしょうか。でも連絡を止めるのも 悪い気がします。 皆さんの意見を聞かせてください。