タイトルの通りの質問です。

具体的には
1)私アラフォー、彼アラフィフともにバツイチ
2)家が遠く片道1時間ほどかかるため金曜日の夜彼の家に行って週末を過ごすのが慣習。ただ彼の子供が2週ごとに泊まりにくるため子供のいる週はお泊まりなし。
3)土曜午前中は彼の趣味の時間。なので子供のいる週、私は金曜の夜～土曜午前がフリー
4)月に一度は私の趣味(男性が多いスポーツ)のため日曜日が会えない
5)平日も火曜、木曜は彼の趣味、水曜日は子供がいるので中間地点で会うこともできない

私は彼の趣味に使う時間にも子供に使う時間も文句を言ったことがありません。
彼と会えないのなら他に会いたい友人(女性)もやりたいこともあるので。
ただ自分の都合で会えないにもかかわらず彼はその時間に私が出かけるのを快く思っていないようです。
自分の趣味も私と過ごすためにサボることもありますが私の趣味は月にたった一回なのに一緒に過ごしたいと行くのを阻止しようとします。

私は彼よりも友達を優先しているわけではありません。会えないならその時間を有効に使いたいだけですが仕事の後に会うので飲みに行くことが多いです。
ちなみに私はお酒かなり強いです。
お互いいい年なのに彼女が呑みに行くのは嫌なのでしょうか？

私が趣味から帰ってきて電話で話す時などに「今日はもっと一緒に過ごしたかった」など責めるようなことを言われるのが嫌で、あなたの都合に私は文句を言わないのにどうしてあなたは同じことをしてくれないの？と話したこともありますがそうすると「冗談だよ」などはぐらかしますが次の月また同じようなことを繰り返します。
これはあまりにわがままではないでしょうか？

機嫌が悪くなっても少しするとケロっとしています。それなら最初から言わなきゃいいのにと思います。

そろそろ結婚の話も出ていますが二の足を踏んでいます。