自立しないうえに威張る弟

三十代後半、既婚妊娠中です。出産子育てへの不安と、出産後の社会復帰を考えて、実家近くに転居準備中です。夫は医療職です。 実家には、弟が三人います。三人とも三十代で、多浪、留年、退学を重ね、私大医学部、薬学部、歯学部をでています。社会人になってからも、仕事が長続きせず、居候状態。長男は結婚しているのに無職。実家はすっかり借金まみれになり、還暦すぎた両親が、必死で働いています。昨夜弟から「帰ってくるな、目障りだ」というメールと電話が来ました。私はこれまで、弟をみると文句を言いたくなるし、腹がたつので、見ないようにするために、実家には距離を置いていました。弟の言い分では、私が「私学にしか行けなかった自分の立場をわきまえて、いい加減に自立しなさい」と(弟に)言うことが、嫌がらせなんだそうです。せっかくついて来てくれる気持ちになってくれた夫にも嫌な思いをさせるかもしれないと、申し訳ない気持ちです。親は、私達夫婦が帰郷することを喜んでくれていたのですが、弟の主張を聞いた今、悩んでいるようです。 人生プランを見直すべきか、迷っています。アドバイスいただけませんか？