毎朝・晩、義弟が姑の所に来ます（二世帯）

結婚4年目、40代半ば子供なしです。夫は二人兄弟長男です。
今年1月から実家の建替えをし、玄関のみ共有の二世帯住宅で姑と暮らしています。
舅は8年前に他界しており、仏壇があります。

義弟は40代前半　結婚しており、娘が１人。
義弟の嫁は姑・夫共に不仲なため私は結婚してから一度も会っておりません。
義弟からの話しか聞いていませんが、夫婦仲は良くなく離婚を考えている…と聞いてから何年も経過しています。（私が結婚する前からです）

問題の義弟ですが、姑とは多少離れて暮らしていましたので、毎朝晩に来るとは思いませんでした。
ただ、頻繁な事は間違いないのと、義弟にとって実家であること、お仏壇がある事を考慮して
二世帯の共有部分をなるべく少なくし、はち会わせる事があまりない様にしました。
今はそれが余計だったのか、それが良かったのかはわかりません。

夫に聞くところ、昔から義弟に家族は甘かった様で
育った環境が違うので私の意見が正解とは思いませんが、姑も子離れをしていません。
義弟は自分を否定される事が極端に嫌な様で、「来るな」的な事を言うと「二度と来ない」と言い兼ねないタイプです。

結婚したての頃、毎朝来る事を不思議に思った私が、姑に聞くと
「朝ご飯を食べずに仕事に行くなんて心配でしょ？！」と姑。
「お腹が空いたら食べる方法はいくらでもあるのでは？」と返すと
「コンビニのご飯なんて！」と返されましたのでそれ以上言いませんでした。

姑も義弟も決して悪い人ではないのですが、この親子関係が私にはとても不可解ですし
義弟に何も言えない家族も厄介です。

ある友人にこの話をしたところ、私が食事や洗濯をしているわけでもないのだし
そこまで嫌がる事もないのでは？と言われ自分が何にモヤモヤしているのか解らなくなりました。
やはり私がおかしいのでしょうか。
頭を切り替える方法はあるでしょうか。