雑な扱いをされていると感じて放置してた彼

まだ付き合って一ヶ月も経っていない人がいるのですが、付き合い始めてからこちらから数回ご飯などに誘っても予定をはぐらかされていました。 (「考えておく」と言われて結局誘った日の当日になっても何も連絡がない等) 私自身も今仕事が忙しい時期で、もし相手もそうならそれでも無理に会ってほしいとは思いませんが、特にそういった事情の説明もなく…また、会社の寮に入っているのですが、とにかく自分の寮の最寄り駅に私が行くのを嫌がります。 結局「考えておく」と言われて二週間以上経過してから「仕事が落ち着いたから会いたい」とLINEがきましたが、付き合って一ヶ月経過していないのにこの感じはこの先が思いやられますし、何より「行けない・行きたくない」なら相手に連絡しないと他の人を誘えないということなどを考えないんだなあと思ってしまいました。 他にも、付き合ってるといえるのか…？ということがいくつかあります。 もう会いたくないと思ってしまったのですが、 「やり取りの中で付き合っているとは思えなかったから、会うことはできない」 等と直接的な言葉で伝えた方がいいでしょうか。 付き合ってるとは思ってなかったし…なんて思われるのも癪だなあと思っています…。