身勝手な夫について

結婚１４年目の子持ち主婦です。 夫にはひどい浮気をされた過去があり それを乗り越えてきました。 夫は飲みに行くことが好きで良くでかけます。 大体が３時くらいには帰ってくるのですが、 遅いといえばキレるので我慢してきました。 しかし、先日はあさ６時半過ぎに帰ってきました。 あまりにも遅いので心配になり携帯にかけても 出ずに、過去があるので不安で仕方ありませんでした。 帰ってきた夫に問い詰めると知人に会い遅くなったと 言い訳してきました。 私も頭に血がのぼり強めに心配かけないでと言ったら 不機嫌そうにお前とは性格が合わないと逆切れされました。 夫は人から言われるのが大嫌いなタイプの人で文句も言えずに ふだんから気を使って接してます。 妻が朝帰りを注意するのはおかしいことでしょうか？ 今後どう夫と接していけばうまくやれるか教えてください。