浮気でなければ何をしてもいいのでしょうか

30代の主婦です。 旦那も同じ歳。子供はいません。 3ヶ月前、旦那が職場の先輩(男性)と飲みに行ったのですが、帰宅は翌日のお昼前でした。 その後先輩と2人なのは嘘で職場の女の子がいた事、その後に女性が席について接客するお店に行った事がわかりました。 その時には私も女の子とプライベートで会うのは嫌だと伝え、旦那も当分飲みに行かないと言ってたのですが、体が触れていなければ浮気ではない。女の子にチヤホヤされたい。モテたい。と主張していました。 翌週には職場の後輩(男性)と友達の女の子と遊びに行き、翌々週にはその女の子と2人でご飯に行っていました。 旦那は後輩と女の子の仲を取り持とうとしていたのですが、その子と気が合うみたいで、今では毎日のようにLINEをし、夜は通話しながらゲームをし、休みの日は遊びに出かけています。 今日は職場の同僚(男性)と上記の後輩と飲みに行き、3時ですが帰ってきません。 旦那の言う浮気(体が触れる)をしていないのは信用していますし、下心や恋愛感情もなさそうですが、私よりも彼女との予定を優先させている時点で浮気同然なのでは？と思ってしまいます。 今ではもう2人の時間がほとんどありません。 上記より前は、休みの日は2人で出掛けたりゲームしたりと私を優先してくれていました。 最近、痩せて職場でモテてチヤホヤされるのが嬉しい様で、お洒落に目覚め服を全て新調し、今まで着けていなかったアクセサリーをつけたり、私よりも外側の事に夢中になっています。 それに、今の時期で遊び回る神経も理解出来ません。 私は持病があるのに、旦那は私の体を気遣うことすらしてくれないのだなと悲しくなります。 素直に思っている事を伝えると、浮気じゃないから問題ない。誰とも交流せずにお前とだけ過ごせというのは無理と怒られてしまいました。 私がおかしいのでしょうか。