悪口と悪ふざけの見分

こんにちは。 同棲している彼について相談させて下さい。一般の意見を知りたいです。 彼は私に対してほぼ毎日 カス、バカ等の暴言や、豚の絵を指差して[ほら、君だよ]と中傷を云います。 他にも言い出したらキリがありません。 私は止めてよと言い続けていましたが、今日耐えられずに大泣きしてしまいました。 しかし、彼の言い分としては[悪意は全くないから聞き流してくれればいいのに]とのこと。 更に深夜に泣いていたので、[こんな夜中に泣いて近所迷惑だ]と。 私だって好きで泣いていません。 私の考えとしては、[悪意が無くとも相手が悪意を感じたら悪ではないか]と。 しかし、二人で住んでいて、私は田舎から引っ越してきて友人も居ないため、相談出来る相手おらずこの考えが正しいか解りません。 皆さんはこのような状況になったらどう思いますか？ 私は彼の言葉をスルー出来るような精神が必要なのでしょうか? それとも、彼の考え方を変えるべきでしょうか？ ちなみにこのようは喧嘩は今までにも数度あります。 改善なしです。 私は中肉中背、容姿は普通です。 ご意見宜しくお願い致します。