気になっていた彼の結婚式、欠席したいのですが…。

みゆきと申します。お知恵をお貸しください。
2年前に同じ職場となった一人の男性が、一緒に仕事をしていくうちに気になるようになっていきました。ですが彼とは本当に仕事だけの関係で、二人でどこかへ出かけたり…ということもありませんでした。残業のときに彼と二人だけになることもあり、仕事での悩みなども私だけに打ち明けてくれて、それを励ましたり、私が体調を崩したときには仕事を手伝ってくれたり…と仕事の面ではお互いによいパートナーであったと思います。
でもそれだけでした。噂で彼女がいると聞いて、ショックで、その時に、もしかして好きなのかな？と思い始めました。でも彼女がいるなら、と諦めの気持ちでいました。彼女と別れそうという噂を耳にしたこともありましたが、積極的にアタックもせず、日だけが過ぎて行きました。
ところが、その別れる予定であった彼女が妊娠し、授かり婚をすることになったと報告を受けました。(別れる云々はデマであったのかも知れません。)
そして、当然と言えば当然なのですが、私のもとへ招待状が届きました…。
彼は私の気持ちなど知りませんから、「仕事でもとてもお世話になったし、ぜひ出席してほしいんだけど」と直接言われました…。
でも正直、行きたくありません。今になって、自分の汚い部分がどんどん見えてきます。彼の結婚相手の評判は、職場内でも最悪で、良く言う人に出会ったことがないくらい。だから余計にかも知れませんが、でも彼女がとても良い人で、誰から見ても納得、という女性であったとしても、行きたくない理由はそんなことではないのでしょう。
彼をがっかりさせないように、結婚式の欠席の意思を伝える良い方法はないでしょうか。それとも、自分の気持ちに踏ん切りをつけるために、出席した方がよいのでしょうか。今月中に返事をしなくてはなりませんが、よい答えが見つかりません…。