彼氏の考えてる事がわからない

長文失礼します。今付き合ってる彼氏について相談です。
私には初めてできた彼氏がいます。彼氏26歳 私22歳
今月で付き合って4ヶ月になります。
その彼氏の事なのですがこの前電話して不安に思ったことを言ったら
「重い話されると俺が疲れる」
「俺は愛情表現ないから」
「自分が思った付き合い方じゃないなら別れた方がいい」
と言われました。私自身、自分に自信がなくネガティブで本音や本心を言ったら嫌われると思いなかなか言えず我慢していたのですが、やはり我慢は良くないと思ったので伝えてみました。こう言われるとは思わずびっくりしています。
また、前から度々
「別れる？」
「別れたいって言ったらどうする？」
と彼氏が言ってきたりします。これは別れたいって事なのでしょうか？
私が今度ここ行こうとか言うと
「長く続いたらね」「そこまで長く続けばね」
とも言われました。彼の考えてる事が段々分からなくなってきました。
初めて人と付き合うので付き合うということがわからず悩んでいるのですがこのままでは振られてしまうのでしょうか？
彼氏は私の事は本当は好きではないのでしょうか？
長くなりましたが皆さんの回答お待ちしております。よろしくお願いします。