両祖父母、パパに凶暴になる息子、その躾の仕方について

はじめまして、現在2人目妊娠中で、2歳の男の子の母親です。 息子は、月齢的にイヤイヤ期が人並みにあるものの、私と二人でいる時はこの頃大分と会話で意思疎通ができるようになってきているのですが、夫（パパ）が仕事から帰ってくると、パパを無視…そして、急に手をあげたりおもちゃで叩いたりと凶暴になります。もちろん私が「パパにそんなことしたらいけない！」とその場ですぐ怒るのですが、何度言っても聞かず…。更に困ったことに、自宅から近い両祖父母に会うとまたそんな態度。 そんな時、夫の両親は「今は甘えたい時期（私が2人目を妊娠中だから赤ちゃん返りしているから）そんなんで怒ったらかわいそうや」と叱る私を逆に怒ります。 でも私の両親は「人を叩いたらあかん！やったらあかんことはちゃんと叱らなあかん」と、同じことをされたら孫をきっぱり叱ります。 そのせいか、私の両親が怖いようでなつかなくなってしまいました。そして息子がそんなことをして叱られる度に、私の躾が甘いのかと反省し、毎回落ち込んでしまうのです。 私はそんな両親に育てられたこともあり、息子に対して厳しく躾けすぎなのかな…と思うこともありますが、他人を叩いたり物を投げたりすることはいけないことだし、母親の私が一番に叱らないといけないと思うと、どちらの両親に会うのも緊張してしまい会った後に疲れます。 夫ともこの事で何度も話し合っているのですが、「叱る人は家に一人（母親の役目）でいいやろ、逃げ場（甘やかす人）がいた方がいい」というのが夫の考えの様で、あまり息子に強くしからない役回りでいたいようなのです。 両祖父母、夫、そして私…おそらく育った環境が違うので躾の考え方が二分していて、一貫した子育てが出来ていない気がしています。 というか、もうどうしたらよいのかわからなくなってきました…。