好きじゃない人に気に入られ、断ると逆ギレ

20代の女です。 仕事で知り合った男性と携帯アドレスを交換しました。今思えばうかつだったのですが、ミーティング中の私の発言を覚えていたらしく、終了後「○○には僕も興味がある。教えてほしい。」と言われ、話す日時を調整するためという理由で携帯アドレスを交換したのです。 ですが、彼から来るメールは「散歩をしたい」「お茶でも」という内容。 「しまった！」と後悔し「しばらく忙しいので、○○については私以外に聞いたほうが…」などやんわり伝えたのですが、「いつなら大丈夫？」「“い”さんと話したい」とのことだったので、やんわりはダメだと思い、「そういうのはちょっと…」と断りました。 すると彼は「あなたの態度は鼻につく」などと逆ギレ…。 彼と今後会う可能性もあるし怖いです。私はどうしたら良かったのでしょうか。お付き合いしている人がいるので、それを告げるべきだったと思うのですが、いつ言えば良かったのでしょう？(あまりに早く言うと「そんなつもりじゃないよ・笑」ですよね。)またこういうことを相談すると、彼氏は不快なのでしょうか。アドバイス、よろしくお願いします。