私が不安になるのは私わるい？私の彼の言い分。

「好きだってことが分かったんだから付き合うとかそういう事きめなくていいんじゃない」お互いの気持を確認した時に彼から言われた言葉でした。両思いだとわかって嬉しかったのに一気に不安になりました。
友人からははっきりさせなきゃ、それはおかしいと言われ、彼にきくと
「彼女だし、俺は付き合ってると思ってるよ」
といわれました。

また、元カノに彼を取られたというか、私といい感じになっていたのに元カノが彼に一目ぼれして彼に告白、彼はそっちにいってしまったという過去がありました。
でも私はずっと好きで思いを残していました。
元カノの浮気がばれて二人は別れ・・・私達は再会したんです。そんな経緯もあり、ようやくこの人のそばにいれる・・幸せと思っていたのですが・・・。

なんだか不安ばかりが先にあります。
元カノとはクリスマスを祝ったり、誕生日を祝ってあげたりしていたのに、私には「お金がないから」「俺そういうの興味ないし、日ごろ色々あげたりしてるでしょ」といいます。お金の問題ではないのに・・。そんな状況が四年・・、楽しい事も沢山ありましたが、先日彼が転職（バイト）、そのころから態度もおかしくなりました。

仕事が変わって大変だ、しんどいというので「合う回数減らしもいいよ」というと「別れたいの？」といわれ、ちゃんと話ができません。
そのくせ「毎週あうとかきめるのすきじゃない」といってきたり・・。今年の私の誕生日はお祝いして欲しいと初めて私から言って約束しましたが・・何にもしてくれず・・会ってすぐ彼は寝てしまいました。
また、携帯も隠し始め・・。私が不安だといっても「彼女なんだから」と怒ります、ですが周りに彼女がいる事を隠しているようです。
優しいところもあるので、私は許してしまう。将来は考えてないとも言われました。
私が悪いのでしょうか・・私の考えがまちがっているのでしょうか・・。
混乱しています。アドバイスお願いします。