好きな上司への不信感

部下の私がいつ、どのように、どのくらい仕事をしているか、どうスケジュールを組んでいるか、伝えてはいるものの、全く理解していないであろう上司の下で働いています。
その上司は性格は良い人なので、私は上司のことが好きです。
上司は喋りもうまくなく、色々気づいて動くタイプでもなければ、問題発見力も低いです。そのため、問題提議から発案、部署内や取引先様とのやりとり、私より下の部下への落とし込み、上司よりも更に上席者への決済伺いから、他部署との社内調整などは私がやっています。

人として好きですし、上司の評価がよくなって、更に出世してくれたらいいなー、と思い頑張っているつもりでした。

そんななか、社内で新しいシステムが稼働することになり、その上司はいつも通り全く何も動かなかったので、いつも通り私が色々内容を詰めて、外部への発信までを無事に終わらせることができました。
新しいスタートなので結構大変で、普段から残業少なくないですが、更に増えました。
休みも部署で一番とれませんでした。（休みがとれないのは、私の効率の悪さももちろんあると思います。）
しかし、全てが終わったあとにわかったのですが、上司は私が最後の内容詰めに苦戦して夜遅くまで残業をしている間に、他部署の人と飲みにいっていました。（1日だけですが）
「なにか仕事あればふってね」など、いつもは優しく言葉をかけてくれますが、行動が伴っていない感じがしており、そんなに先々を見据えて動けるタイプでもないですし、すごく気がきくタイプでもない上司なので、仕方ないとは思いますが、さすがに新システムは上司にも関連していることなのに、全て私に投げっぱなしにして、飲みに行かれたことに正直とてもがっかりしてしまいました。
がっかりした気持ちを上司につたえるのは失礼でしょうか？このままの気持ちでは、不信感をもってしまいそうです。