母親の顔色を伺う息子について

かれこれ２～３年悩んでいます。 市の育児相談にも行ったりしましたが答えがでません。 ５歳の息子がいます。 主人は仕事で不在がちで基本的にいつも２人です。 息子は赤ちゃんの時から私にしか受け付けない子で、いまだにあまり主人に懐いていません。 毎日「ママ大好き」とべったりで、誰もが「ママ大好きな子供」というイメージをもっています。 主人や祖父母にはなまいきな態度を取ったりしますが、私にはせず、逆に顔色を伺っている感じなのが気になります。 実は息子が２歳の時に１度だけ息子に激高したことがあります。 時間は５分ほどでしょうか。 その時息子は大泣きしながら「ごめんなさいごめんなさい」と繰り返していました。 その一件を反省して、その後はずっと穏やかに育児をしているつもりです。 けれどそれがきっかけなのか、それ以前からそうだったのか覚えていませんが、息子は本当にワガママを言わないのです。 こういう息子の言動が気になり、何度も「ワガママ言ってもいいよ。何をしてもずっと大好きよ」と言ってますが特に変わりません。 幼稚園では先生には甘えて時々ワガママを言ったりしているみたいです。 友達とは仲良く遊んでいて、泣いている子に寄りそうタイプだそうです。 元々感受性が強いタイプで傷つきやすく、私が少しでも怒ると（「今何したの？」という位のレベルで）顔色が変わって半泣きですぐ謝ります。 けれど主人が怒ると逆ギレします。 家が好きな子で、家にいるとずっと私にべったりひっついています。 育児相談では「お母さんが好きすぎて嫌われたくないのでは？」と言われました。 けれど子供ってもっと母親にワガママだったりしませんか？ 息子は私といたら我慢ばかりしているように思います。 どう接したらいいのか本当に悩んでいます。