周りにいつもイライラする自分が嫌です

私は、現在零細企業のオフィスマネージャーをしています。働きはじめてちょうど三年が経ちます。社長は１ヶ月に３、４日かしか事務所に来ないので、会社のことは、ほとんど私が仕切っています。他にも社員が３人いるのですが、このうち２人と生理的に（性格が？？）あわず、ついイライラした態度がでてしまいます。というか、もう顔を合わせて会話もできません。。仕事も、メールで連絡しています。（ちなみにわたしは、２５歳女性で、他はみんな私より年上男性です。これも結構辛いです） いけないのは、まだまだ精神的に未熟な私だと思います。自分の職務内容に、人格がついていってないと自覚しています。普通、私の仕事内容は、３０代、４０代の人がやっていることで、社会経験が圧倒的に少ないこともあると思います。仕事内容は好きですが、自分の周りの人に対する態度が嫌で、かなりのストレスです。仕事は仕事、あわない人がいてもしょうがないと割り切れません。やっぱり転職を考えた方が良いのでしょうか。辛口な意見でも、お願いします。