どうせモテないから大丈夫？

はじめまして。
彼氏と以前話をしていて、ふと浮気しないでねと言ったらどうせモテないから大丈夫と言われました。
これにすごくモヤモヤしています。
モテないから浮気しないだけって聞こえませんか？？
以前にもモテたいと言ってきたので、じゃあ別れて可愛い子と付き合ったら？と言ったのですがそういう意味ではなく彼氏がモテる方がいいでしょということでした。
(私はモテる人がいいと言ったことはありません)

ちなみに普段はすごく受け身な彼氏で、何するにも私発信です。(彼氏は私の3歳年下)
私は5人目の彼女ですが、3人は付き合って数ヶ月で振られていて4人目は2年弱付き合ってあちらに浮気されて終わったようです。
(受け身、女心がわからない人なので正直納得してしまいますが)

普段は休みも合わないので2週に1回の私の仕事終わりに会っていますが、仕事が激務でも疲れたなどで断られたことはありません。
仕事終わりには必ず電話くれます。
私が直して欲しいと言ったことで直せるところは直してくれてるところはありますので、おそらく好きでいてくれてはいるんだと思います。
付き合って1年くらいになります。

やっぱりこういう過去の経験から自信がなくて適当な私で手を打っているからこういうどうせモテないという発言になるんでしょうか？
皆様はどう思われますか？