誘いを断る私は冷たいですか？

職場の歳下の男性から飲みに誘われて悩んでいます。

年明け前にアドレスを教えてほしいと言われ交換しました。その時は「年賀メールくれるのかな」と思う位で、同僚だし仕方ない…と渡しました。

それ以降たまにメールが来るのですが、正直乗り気になれません。
自分の年齢も年齢だし、仕事はしなくちゃならないし、同僚と必要以上にゴタゴタしたくないんです。
仕事の与太話ならいいのですが（それにしても業務内容が違うので世間話程度）
私から送ることは一切ないので、気づいてくれても良さそうなものなのに…

普段は真面目で仕事熱心な様子でわからなかったのですが、どうやら酒癖が悪いようなんです。
今までにも空メールや解読不能のメールを深夜に何通も送りつけてきたり…色々失敗もしているようで、やんわり注意しても反省の色なしで、断っても断っても思い出したようにメールしてきます。

私自身結構飲める方なので、余計に酒癖の悪い人に抵抗があります。飲めないなら節制するか、他の事で発散して他人に迷惑を掛けないでと思います。

最近はメールの着信が憂鬱です。
おこがましいかもしれませんが、もし恋愛感情があってのメールならそう言ってほしい…
申し訳ないけどきっぱり断りたいんです。
今ではアドレスを教えたことを後悔しています。