口先だけの人

会社の男性から何度か２人で出掛けるようと誘われていました。
しかし、具体的な話が出るわけでもなかったので
単なる社交辞令と思って聞き流していました。

ところが一度だけ具体的な日を提案してきたので
社交辞令ではないのかと思い、そのつもりでいました。

ところが前日になっても場所や時間などの連絡がなかったので、
こちらから聞いてみたら、用事が出来てしまって・・・と断られました。
（自分から誘っておいて、こちらが聞くまでキャンセルの連絡もなく・・・）

こういう男ってよくいるよなと思い、この信用できない人と距離を置いていましたが、また最近になって２人で出かけようと言ってきました。

あまり顔をあわさない人なら、音信不通にしたりはっきりと「社交辞令は迷惑！」と言えるのですが、仕事でかかわりもあるので強く出れません。
社交辞令が嫌いな性格なので、毎回相手に合わせて「いいですね～」とも言えません。

誘われたときに、「行きたくない」または「行けない」と断ってもいいでしょうか？　なにかいい方法があればお願いします。
（会社で顔をあわすのも嫌になっています。こちらが距離を置いていることは、相手にも伝わっていると思うのですが、図太いのか、懲りない性格なんでしょうか）