私の言動に過剰反応する男性同僚

閲覧ありがとうございます。 私　33歳独身女 相手　31歳独身男 彼は他人との距離感を掴むのが非常に苦手で、過去に社内で人間関係のトラブルを複数回起こしています。人と深く関わるのを避け、友人はゼロ、彼女はできたとことがないそうです。 人の気持ちを想像するのが苦手な方だと思います。 私の入社時から彼はこちらを気にしている様子がありました。 しかし話しかけても顔が真っ赤になったり、失礼な事を言われたりと、関係構築に苦労しました。 業務を円滑に回すため、彼と仲良くなりたいと思った私は、今年のバレンタインにチョコを渡しました。『仲良くなりたい』と言った旨の手紙もつけました。 結果、彼からは「仕事が忙しくてプライベートもないから気持ちには応えられない」と言われました。でもとても嬉しそうにしていたので、仲良くなるチャンスと思い、そこからお友達になりました。 彼は「こんなだらしない僕と友達になってくれてありがとう」と言ってくれました。 それからはたまにLINEをしたりするような関係になったのですが、最近彼が仕事中の私の言動に非常に敏感になってきています。 私の言動は常にマイナスに取られてしまい、すぐに「まめさんが、まめさんが」と騒ぐようになったと上司から叱責を受けました。「君の言動は極めて一般的なんだけど、君の言葉は彼にとても刺さるようだから、優しい事以外は言わないように」と謎の指示まで受けてしまいました。 現在私は遠方に出向しており、日常的に顔は合わせません。しかし、たまに電話をすると3時間くらいは楽しく盛り上がることができます。性格が似ていたり趣味が合うので話していて楽しいです。嫌われているわけではないと思うのですが、 1.何故私の言葉は彼を傷つけてしまうのか 2.どう接していけば彼と円滑な関係を築けるのか 皆様にアドバイスを頂戴したいです。 お読み頂きありがとうございました