職場での付き合い

私は、今の会社3年目になり後輩が次々と入ってくる中で、会社の方とよく飲みに行く様になったんですが。　最近私自身忙しいために行くことが出来ないんですが、あるスタッフが何か冷たい態度が多くって困っています。ちゃんと私からどんな状況で行けない事も言ってあるにも関わらず・・・　誘われないよりましと言われるかもしれませんが、なにか私が断り方が悪かったんかな？と最近思っています。　一定の距離感がある様な。。。