アポなし訪問は大丈夫ですか？

２５歳会社員です。 客観的な意見が聞きたくてトピを立てました。 つい先日、付き合って５ヶ月になる彼と別れました。 理由は彼の仕事が終わる時間の予測がつかない仕事で、それに振り回されていると感じた事です。 例えば夜の８時に晩御飯を一緒に食べようと約束していても、 「仕事が終わらないから８時には行けない」→「１０時になりそう」→「ごめん、今日は無理だわ」となった事が一度や二度ではありませんでした。 しかしそれは仕事だし、仕方ないと思っていました。 でもそれとは逆で約束してない日に「今日は仕事が早く終わったから」とアポなしで家（一人暮らしです）に突然来る事があり、それが嫌だったのです。 例えば３０分前にでもメール１本でもあればまだ大丈夫ですが、本当に突然なのです。 私は女友達でも「今から遊ぼう」と急に誘われるのが苦手で、約束をして準備したいのです。 なので彼に会えた嬉しい気持ちより、部屋もそれほどきれいでなく、化粧を落とした後だったので、戸惑う気持ちの方が大きく、それを察した彼が怒ってしまった事がありました。 なので約束してる日は「今日も会えないかもしれないな」と思い、約束してない日は「今日もしかしたら彼が来るかもしれない」と思う、毎日落ち着かない生活になり疲れました。 他にもデートは彼が行きたい所のみ、私が行きたい所は全て却下などの事が嫌で、別れを切り出しました。 それをある友人に話したところ、私が我儘と言われてしまいました。 「彼氏なら、アポなしでも受け入れるべき。マヨの我儘だよ」と。 その友人のいうように私の我儘なのでしょうか？ 世の中の皆様は、彼からのアポなし訪問は平気なのでしょうか？ もし、私の我儘だという意見が多ければ、意識を変えなければと思っております。 よろしくお願いします。