義父が嫌なんです…

３０代の専業主婦です。子供は一人（小学生）がおります。
義父（主人の父）の家から車で３０分くらいの距離に我が家はあります。義父は主人の母とは離婚し、一人暮らしです。

この義父が嫌なんです。
昔の人と言えばそれまでですが、例えば
・気に入らないことがあればどなりちらす。（お店の店員さんとか…お構いなしです。）
・自分の思ってることが一番正しいと思い込み、他人の意見に耳を絶対貸さない。
・孫には甘いので、なんでも買い与えたあげく、自分の思い込んでる間違ったことを偉そうに娘（孫）に話したりする。
などなど。

私のことは眼中にないように接したかと思うと、急に言葉尻を捕まえて注意されたり、娘（孫）のしつけがなってないなど怒られたりします。
外食しても気に入らないことがあれば、孫の前でも店員さんを平気で怒鳴りつけ、嫌な思いをさせられます。
そんな義父を注意しないで黙って見てる主人にも呆れます。

義兄（長男）のお嫁さんとは折り合いが悪く、もう何年も義兄一家は会いに来ません。
しかも遠方に住んでいるので、義父とは音信不通状態です。
親戚からも呆れられ付き合いはほぼないです。我が家と義兄一家は良好です。

だけど主人は義父が大好きで、よく「会いに行こう」と言ってきます。
今までは主人に合わせて月一くらいの訪問をしていましたが、そろそろ我慢の限界です。
でも義父は一人暮らしだし、長男一家は頼れないし（主人は兄と二人兄弟）、やがては同居することになるのかもと思うとモヤモヤします。
このお盆にお墓参りがあり、また義父と食事をすると主人が言ってきました。私は行きたくないのですが、お盆に嫁が行かないのは非常識なのでしょうか？
それからこの状況で同居の案が出たとき、拒み続けるのは嫁としていけないことなのでしょうか？
教えていただきたいです。