自分の中で答えが出せなくって。アドバイスお願いします。

同棲をしている彼がいます。付き合いは2年4ヶ月、お互い今年で31歳です。
彼の事は大好きです。二人の関係もケンカは時々ありますが良好だと思っています。
この彼の実家についての相談です。
一年前くらいから彼の実家にお邪魔することが多くなり、仲良くやっていけてます。
彼の実家は現在彼の父親と姉夫婦とその夫婦の子供小1の男の子と4歳の女の子が暮らしています。
その姉夫婦が、昨年3月に姉の旦那さんの実家の敷地に新居を建てたのですが、父親を一人にしてしまう事を心配し未だ引っ越せないでいました。
間も無く建ちあがって1年も経ってしまうので、姉の旦那さんのご両親も『いい加減引っ越しておいで』と首を長くしているようで、小1のお子さんが、春休みに入ったら引っ越すことになりました。
彼の家族はみんな私と彼が姉夫婦と入れ替わりで実家に住むことを望んでいます。彼は入れ替わりで自分だけ帰ると言ってますが本音は家族と一緒だと思います。
先日彼の父親から私一人に『姉夫婦と入れ替わりで来て欲しい。そしたら姉も安心できる。K（彼）だけ帰ってきても意味がない。』というような話をされました。
そして『Kはリコ（私）に一緒に来て欲しいとは言えないから、リコから一緒に帰ろうと言って欲しい』と言われました。
今までに彼からプロポーズはありません。結婚はお互い意識していますが、お互いにまだ金銭的にも仕事的にもタイミングでないと思っています。
結婚もしていないのに彼の実家で彼の父親と同居するのは、私の中では非常識だし、だからといって結婚するのは違うと思うんです。
実際同居は避けたいと思っているのが本心です。
この私の状況は客観的に見てみなさんどう思いますか？私はどうすることが正解なんでしょうか。
彼の母親は4年前に亡くなっています。