ママ嫌い病、どうしたらいいでしょうか？

2歳4カ月の男の子のママです。
最近、息子の「ママ嫌い」が激しくて困っています。

朝起きた時やふとした時に、近づいただけで「ママ嫌い、いや」と言って、私を手で叩きます。
そんな時、「何で～？ママ嫌いなん？ママは○○くん好きなのに」と言って近づこうとすると、さらに嫌がって叩いてきます。
パパ、じいじ、ばあばは好きってはっきり言うのですが、ママだけ嫌いだと・・。（泣）かなりショックです。

共働きで私の職場が遠いため、息子の送り迎え等の御世話を夫がほとんどしていることが原因かな？と思うのですが、息子が嫌がるようなことはしていないのに、なぜそこまで嫌われてしまうのかが分かりません。

「ママ嫌い」と言われてもあまり気にせず、息子には優しく接するようにはしています。でもあまりにも何回も拒絶されると私もたまにムッとしてしまし、「あっそう。」と言ってしばらく息子から離れて相手をしないことも。

こんな状態がいつまで続くのかなと思うと、少し不安です。
どうしたらいいでしょうか？