彼のお姉さんとご主人

バツ一男の子2人がいる36歳、彼は未婚の同い年です。子供達の理解もあり同居しています。
結婚は子供達の年齢もあるせいか姓が変わることに抵抗があるため下の子が高校入学位になってからと決めています。

彼の姉は41歳で昨年バツ一（子供なし）の方と結婚しました。
２人で飲みに行ったり合コン（かなり寒いですが）をしていた様で仲の良い（？）姉弟です。
姉が付合っていた方（今のご主人）も義弟になるであろう彼に気に入られようとしていたので、４人で仲良く飲むような間柄となっていました。

しかしご主人と彼名義のアパートで同棲を始めた頃から態度が変化しました。
”弟（彼）は可愛いけど、相方（私）は生意気だから可愛くない”、クリスマスにDSを子供に買ってあげれば”贅沢だ贅沢だ贅沢だ”・・・などなどな散々言われたりしたため、彼が私との事をどお思っているか聞いても”可愛くて仕方ないあなた（彼）が幸せなら私（姉）も嬉しい”と返答し、私には”弟（彼）が子持ちとでは大変だろうし、心配で仕方ないと思っている”と別の返答。
彼と私は距離を置こうと考え殆ど会っていませんでした。最近、顔を合わすことが多々あったのですが目も合わさない、挨拶しない、嫌な顔をされるなど更に色々とありました。

姉に何が気に食わないのか尋ねてもくれましたが”可愛いあなた（彼）が悲しむのは辛いから適当にやっていって”と、彼中心のみの返答でした。
私が神経質すぎるのか悩んでしまって、体調を崩し疲れ果て別れを切り出しました。
彼は姉夫婦と縁を切ってでも一緒にいようと言ってくれています。
彼の気持ちは嬉しくもあり彼が辛くなるだけの様で申し訳なくも感じています。

本当にこれでいいのでしょうか。皆様のご意見を伺いたく思います。
ご両親は私と子供を快く受け入れてくれて、子供と一緒に遊びにきなさい。といつも誘ってくださいます。