LINEで特定の女性を非表示にしているのは浮気大？？

はじめまして。相談なのですが、タイトル通り旦那がLINEで特定の女性を非表示にしていました。

私　旦那　20代後半　息子6か月
普段から携帯ゲームをよくしている旦那で、常にスマホを手に持っています。
私は相手のスマホを見ることはしませんが、今回たまたま息子が旦那のスマホを触っていて、LINEが開かれて見てしまいました。
トーク内容までは細かく見ていませんが、なぜかその女性を非表示にしていたことが引っかかってしまいます。
ネットで調べるとわざわざ特定の人を非表示にするのは見られてやましいことがあるから…と書いていてやっぱりそうなのかなと疑ってしまいます。

旦那の営業職で普段帰ってくるのは19時～22時とバラバラです。ご飯も毎日家で食べています。土日は休みなので家にいて育児を手伝ってくれていますが、もしなにかあるとすれば、平日の遅い日なのかな、、と思います。
旦那には毎月一定額のお小遣いしか渡してないのでそんなに自由に遊ぶお金もないと思いますが、それでも遊ぶ人は平日の仕事終わりにでも遊ぶのでしょうか、、？
今回はトーク内容も見てないので確実に黒！とは言い切れないので何とも言えませんが、
じゃあ本当に黒だったら離婚するのか、、まだ決意も固めれてないし、そこまで考えてはいません。

やはりLINEで特定の人を非表示するのは浮気の可能性大と思っていいのでしょうか？
また、同じようなことで黒だった！などあれば教えていただきたいです。
乱文で申し訳ないですが、今後のためにも参考にさせていただきたいです。