鬱の人の誘いを断りたいのですが。

趣味で同じサークル活動をしている中の男性に、ひんぱんに誘われます。 私の方に恋愛感情はまったくなく、嫌いではありませんが２人で会う気にはなれない相手です。 複数の仲間内で誘われた時には仕方がないので参加しています。 誘いの内容は、食事に行こう、飲みに行こうという内容でメールで誘われます。 何かと理由をつけて断っていますが、私に行く気がないのをわかってもらえません。 多分サークル内の他の男性（純粋に単なる友人）とは打ち合わせなどの用事で２人で食事に行くこともあるので、自分も当然ＯＫだと思っているようです。 もっと冷たく断れば良いのですが、その人は重度の鬱で入院したことがあり今もたくさん薬を飲んでいるような人なので、直接的に傷つけるのが怖いのです。 どうやら躁鬱のようで、躁の時期にはやたら前向きで明るく、積極的に誘ってきます。 鬱の時には会社にもいかず、手が震えたりするようです。 知り合いの医者が、そういう人は躁状態の時のほうが何をするかわからないから怖い、と言うので余計に厳しくは断れません。 最近掲示板などで「会いたいのに会えない」などと思わせぶりな発言をよく書いていて（私が見ていると思って書いているのだと思う）、だんだん怖くなってきました。 単なる友人としては悪い人ではないのですが、個人的に誘われなくなるようにするには、どうしたらよいのでしょうか。 私はサークルのリーダー的立場なのでやめることもできませんし、その人も今までサークル内では役に立ってくれているので、本当に困っています。 ちなみに私には一応伴侶がいてそのことをその人も知っています。 でも、「下心はない」というようなことを言いつつ、たまたま帰り道などに２人になると馴れ馴れしくなり、下心はあるように見えます。 サークルに来るのも、私に会いたいからだと言われたこともあります。