環境の違う友人達との付き合い方

友人AとBが「三人で食事に行こう」と誘ってくれます。

友人A：既婚子持ち、専業主婦、平日昼間の幼稚園のお迎え時間までランチ希望
友人B：既婚子持ち、シフト制の職場、土日は職場が忙しいので平日の昼間を希望
私：独身、土日休みの職場のため平日は休みを取るのが難しい

三人ともなかなか都合が合わず、「申し訳ないけど私は都合が合わないので二人で行ってきて」と断りました。その時は二人で行ったようです。
そういったことが二度程あり先日もまた「三人で食事に行こう」とお誘いがありました。
そして毎回同じやりとりを繰り返し・・・なかなか都合が合いません。
私がなんとか融通を利かせればいいのかもしれませんが、以前にお子さんの体調不良などでドタキャンされたことが何度かあったため、あまり無理して合わせようと思っていません。（もちろん子供が体調を崩しやすいことは理解しているのでドタキャンは仕方ないと思っています。）
一応自分の希望として土日じゃないと難しいとは伝えていますが、休日は家族で過ごしたいでしょうから無理に自分の都合に合わせてほしいとも思ってはいません。
友達が少ないのでAもBも大事にしたい気持ちもあり、お互いの立場や環境が変わっても会おうと誘ってもらえることはとても嬉しいのですが、なかなか難しいように感じています。
私としてはSNSでもつながっているので、友人や子供達が元気そうな様子がわかれば今はそれでいいと思っているのですが冷たいのでしょうか？
いずれお互いの立場が変わった時にまた三人で集まろうと、うまく伝えられたらいいのですが…

同じような立場の方や経験がある方のご意見を聞きたいです。
よろしくお願いいたします。