お断りの時の言葉選び

自分に凄く自信があって「今まで女に不自由したことが無い！」という職場の男性から告白されました。 私にとっては、全く興味の持てないタイプの人なので、断る電話をしようと思っています。こういう人にはどんな言い方が一番適切でしょうか？　 あれこれ考えず、ハッキリと自分の気持ちを言うほうがいいのかもしれませんが、私は辛口なのでキツすぎる事を言って恨みをかわれ、仕事に差し支えあると嫌なので．．．（相手は公私混同するタイプです） 馬鹿げたご相談で申し訳ありません！