義父母との関係・・・どうすれば？

3年前に結婚。自宅の購入を考えました。夫は長男のため、同居をするかどうかを義両親（車で2時間）に打診。私たち夫婦と同居を希望したため、2世帯で住める住居を購入しました。翌年長男を出産。私が仕事を再開するにあたり、「保育園はかわいそう。長男の面倒はみる」と義母がいったため、保育園等は考えず週に4日定時で終わる仕事を始めました。しかし、義父母はこちらに荷物を運んでくる風もなく、私が仕事がない日はもともとの住まいにそそくさと帰る生活。私は義父母に負担が少ないようにと、自分の仕事も変え、キャリアも諦めたのに・・・と釈然としない気持ちでいました。 そんな矢先に次男の妊娠。私の仕事が当時年度契約の仕事だったため、4月からは仕事のない生活となりました。すると、義父母はこちらにくることはほとんどなくなりました。そして次男の出産。産後はなぜか義母は地元に戻り、義父が私たちと住んでいました。これはおかしい、と思い、「同居の話はどうなったのか？」と聞いてみると「同居は無理」とのあっさりした返事。理由は「義母の様子をみているととてもこっちにいなさいとは言えない」とのことでした。お母さんは「友達に会えないのがストレス」とのこと。。主人と義父とで大喧嘩となりました。その後、「無理」といえたのでスッキリしたのか、こちらの住居にあった荷物をそそくさと運び出し、地元に戻ってしまいました。その後長男・次男の保育園先探し、私の仕事の調整等てんてこ舞いでしたが、なんとか今は落ち着いています。やれやれ、と思った矢先に義母からのメール、「次男のお誕生日をお祝いしたいのでそちらに行きたい。日にちを教えて欲しい」とのメールがきました。祝っていただかなくても結構です、というのが正直な気持ちですが。。。私の心が狭いでしょうか？ みなさんのご意見をいただければと思います。よろしくお願いいたします。