職場での人間関係について

お昼を女性3人と一緒に食べてます。誰も喋らないためみんな黙々と食べているのですが、私が食べ終わり歯磨きをしにいこうと席を立って去った瞬間に喋りだします。 ちなみに私が年齢的にも勤務年数的にも一番下です。 最初は2人は仲が良いのでただ話しやすいだけかな？と思っていたのですが、やはり私がいない時の方が話が盛り上がってます。 私は家の事情で月2で休むため、そのせいであまりいいイメージを持たれていない事は重々承知です。(家の事情の件は上司に相談しており一応許可は貰っています) 業務はわたし1人で完結するため、休んだとしても誰かが代わりにやって迷惑を被るという事は一切ないです。 話の受け答えはしてくれるのですが、でもあからさまな態度の違いにショックです。 これはやはり嫌われているのでしょうか…？