男性の方へ。失礼のない断り方について。

私には、長年、うまくできないことがあります。

それは、飲み会や、その他さまざまな場所で、男性から、メールアドレスや電話番号を聞かれたときの、相手の方への断りです。（フランクなつきあいだとしても、その男性と連絡をとる気持ちがない場合）

男性に失礼のないよう、極力気分を害されないようにしているつもりですが、うまく対処している自信がありません。「初めてお会いした方には、男女問わず、連絡先は教えないことにしているんですよ。ごめんなさいね。」と言ってみたことがあります。

その他、状況に応じてベストは尽くしてますが、人によっては、電話やアドレスを聞くのは大変勇気がいると思いますし、男性の友達等がいる中で、その男性の申し出を断ると、相手に恥をかかせたり、こちらもきまずいものです。

アドバイスをいただけませんか？
よろしくお願いいたします。