子供の面接権について

はじめまして。
アラフォーのシングルファーザーです。

２年前に妻と離婚し、子供２人（長女５歳長男３歳）の親権を取り祖父母や周りの方々の協力の下、生活しております。

元妻と子供の面接権について、月１回及び宿泊については年３回と決めました。
面接の日程は、元妻の都合で決まります。（基本的に第何週の何曜日と決めようと提案しましたが却下されました。）
こちらの都合が悪くない場合はすんなり日程が決まるのですが、稀にどうしても都合がつかず日程の変更を申し出ると、「絶対に無理」「なんとかして」と全く譲歩してくれません。特に連休のある月や盆、正月、ＧＷなどです。
これまでこちらの都合を無理矢理押し通したりしたことは１度もありません。旅行をキャンセルして会わせた事もあります。
私としては子供の為の面接権ですから、仲良くやっていこうとまでは言いませんがお互いに歩み寄る気持ちは持とうと言いたいです。
面接権というのは、親権を持たなかった親の絶対的権利なのですか？
私の都合を押し通す事はしてはいけないのですか？押し通す事で問題はあるのでしょうか？