旦那が女性と2人でご飯

閲覧ありがとうございます。 20代半ば女です。 タイトル通りなのですが、旦那が通ってる心理学の学校で気の合う30代未婚女性と2人で時々ご飯に行ってます。 私もその女性とは会ったことがありますが、私はその学校には通っていないのでそんなに深い仲ではありません。 前に話した時に、その女性には彼氏がいるとかで旦那に手を出さないとは信じていますが… 以前女性と2人きりで会うのはやめて欲しいと伝えましたが、やましい関係ではないし、異性と言うよりは心理の仲間として仲良くしてる、と旦那に言われました。 勿論個人でLINEもしてます。 2人で会うのをやめて欲しいと思う私はわがままなのでしょうか…？何だか落ち着きません。