夫のオンラインゲームについて

現在子供２人（4歳、0歳）います。 夫が２人目妊娠時よりオンラインゲームにはまり、YouTubeでのゲーム実況配信もしています。 何度かゲーム関係の事で喧嘩し、話し合いを重ねてきました。 現在は、子供が寝た後はゲームしてOKとなっています。 毎晩深夜までボイスチャットをしながら防音室でゲームをしています。 先日、会社の飲み会と嘘をついてゲームで知り合った人達と飲み会（男1名、女1名）に行っていました。 その女性とは通話機能で話したりと仲が良いとは知っていました。 ゲーム内だけだからと、あまり良い気はしていなかったのですが黙って容認していました。 しかし、男女複数人とは言え、嘘をつかれて会っていた事が分かり正直夫の事を信頼できず疑う気持ちが強くなってきました。 今回だけでなく何度か仕事と言って実際はゲームをしていたりと嘘をつかれていた事もあり色々な事に不信感が募り、不安になるようになってしまいました。 今までもゲームのオフ会に行く事はあったのですが、その際は男性でどういう人か教えてはくれていました。夫が嘘をつく理由は「女性がいたから」「ゲームの事を理解されてないと思っているから」との事です。 正直、どのように対応して良いか困っています。ゲームで知り合った女性と飲みに行く事は複数人でも抵抗があるのですが、制限した所で嘘をつかれる方が辛いので、 夫とは、複数人であればゲームで知り合った人と飲みに行っても良いが、どういう人か相談はしてと伝えています。 私はオンラインゲームをしないので、正直夫の趣味を受け入れるのに抵抗があるのかもしれません。 既婚者子持ちでオンラインゲームを実際している人など、、何かアドバイスあればお願いします。 今後、ずっと不安を抱えたまま生活するのが疲れてきました。 今は子供が小さいので経済的な面で離婚は避けたいのですが。