二世帯住宅を建てたいけれど

そろそろ住宅を建てようと思い、私の母と同居する二世帯住宅を考えています。私たち夫婦は共働きで、来年小学校へあがる子と今年生まれたばかりの子がおり、私が仕事で遅くなる事が多いため母に子供の面倒をみてもらおうと思っています。現在は私たちと母は同じアパートの上下に住んでおり、母宅の家賃（５万円）をうちで負担し、私の扶養家族になっています。二世帯住宅の話を私の弟と妹に話したところ、弟は他県で家庭をもっており、母の面倒は自分もみる気持ちはあるけれど、母が私との同居を望むのならよろしく頼むとのことでした。妹は毎日昼食を母宅で食べ、時には週３～５日一家揃って母宅へやってきて夕飯を食べて帰ったりしており、私の家族と同居となると気兼ねして毎日来られなくなる、自分の行き場がなくなると言い出しました。妹は既に自宅を新築しており専業主婦です。もっと早くこのような話が出ているのであれば、自分も母と同居して、子どもを母に預けて働きたかったと言い出しました。自宅建設着工前に妹に毎日の昼食や頻繁な一家揃っての母宅での夕食は今後控えるよう伝えたいのですが、うまく伝えられそうにありません。どうしたら良いでしょうか。。