仲の良い友達だったけど。

２３歳男です。僕には中学生の頃から仲の良い友達が居ます。 社会人になった今でもよく遊んだりしていて会社帰りにも会って呑みに行くような仲です。 しかし、彼はハッキリ言う性格でなんでも僕に言ってきて僕は喧嘩は避けたいので何も言えず笑い話にしてごまかしてますが正直すごく傷ついていて家に帰っても思い出して苛々したりしてしまいます。 自分にプラスになる意見を言ってくれるなら良いのですが人を見下したような感じで（相手はその気は無くても）言ってくるので余計に苛々してしまいます。 昔は仲が良かったのですが今では相手の顔色を伺ってしまっている部分がある今の自分に呆れています。 最近は距離を置きたいと思っていて呑みに誘われてもその日は都合があると断ったりしています。 みなさんはこのような経験ありますか？ 相手に最近気を使ってしまうのに疲れていて、他の優しい性格の友達といるととても気楽でストレスも全くありません。 徐々に距離を置きたいのですが頻繁に誘ってくるので今後どうしようか迷っています。 よかったらみなさんのご意見が聞きたいです。よろしくお願いします。