義理の両親との同居（愚痴です）

はじめまして。夫の両親と同居して2年になります。
最初の頃はかなり気を遣っていて、「はっ！？」て思うようなことにも「所詮他人なんだから、仕方ない」と思うようにしていましたが、それでもフツフツとストレスは溜まるばかりで・・・
夫は帰りが遅くなることが多いので、平日はだいたい義理の両親と3人の夕飯になっています。会話が弾むわけでもないので、その時間は苦痛でしかありません。その上、義父はおかずをつまみに晩酌をして、かなり経ってからじゃないとご飯を食べないので、食事のスピードが全く合いません。それでも義父の食事が終わってから片付けをするようにしていました。
（たまに4人の食事の時でも夫も晩酌しますが、自分の食事が終わったら早々と部屋に帰ります・・・）
現在私は妊娠をしていて、つわりがひどかったときは食事を遠慮していました。今はつわりも治まって一緒に食事をとっているのですが、やはり食事のスピードが合わず、私が先に終わってしまい特に何をするわけでもなくその場にいるので、義母が気を遣って「終わったならいいよ」と言ってくれ、最近は自分の分の片付けだけをして部屋に帰っていました。
つい先日のこと、夫もいて4人の夕飯でした。やっぱり食事のスピードは合わず、夫は自分のが終わって部屋に帰ってしまい、私も食事が終わったので、とりあえず二人分の皿だけを流しに持って行きました。すると、聞こえるか聞こえないかの声で義父が義母に「まだ食事してるのに片付けるなんて・・・」とはっきりはわかりませんが言っていました。最後には「もう別々に食べた方が・・・」とも聞こえてきました。自分たちの皿を下げただけなのに！！と心の中で言い返していました・・・
色々溜まってたので長くなってしまいましたが、やっぱり私が食事のスピードを合わせるべきなんでしょうか・・・