彼氏の発言（長文です）

はじめまして。トピをご覧いただきありがとうございます。 20代後半のぱんだまんといいます。 いまお付き合いしている彼氏についてご相談させていただきます。 2ヶ月ほどの友達期間を経てお付き合いを開始してまだ2週間あまり。 彼の性格は温和ですが、自分の意見はハッキリと言います。私としても話しやすく波長が合うなと感じています。 ただ時々、会話の中で『頭が弱い』と言われることがあります。 シチュエーションとしては、世間話をしていて私がウッカリしてやらかしてしまったことや、彼氏が言った言葉を勘違いして的外れなことを言ったときに『ぱんだまんは頭弱いね～』と。 笑いながら言うので、最初は冗談かなと思っていましたし、私も笑いながら『ひどーい！』といって流していました。 付き合い始めてほぼ毎日電話で話していますが既に2、3度言われました。昨日も会話の途中で言われ、そのときはカチンと来て『もういい！話すのやめる。』と言いました。 その後、彼氏は『あ、拗ねた？で、続きはどうなったの？』と謝ることなく会話を続けようとしました。 モヤモヤしながらも会話を続け、電話を切ったのですが、思い出すと怒りがこみ上げてくる反面、本当にそう思われていたら悲しいです。 私からして、頭が弱いという言葉が見下されているように感じてしまいます。私の心が狭くて、開き直って笑い飛ばせるくらいの気持ちの大きさがあればなーとも思います。 みなさんはどう思われますか？