自分と彼の失言について

失言をした際の対応に関してと、それで起きた喧嘩の着地について相談したくて質問です。 先日彼と家にいた際、急に彼の機嫌が悪くなり、のちのち聞くと、会話の中でなんとなく口にした私の言葉にとても傷ついた。『俺の仕事は思うようにいってないの知っているのに、よくそんな事言えるね、煽ってるのかと思った。』と言われました。(私が自分の仕事が少し上手く行ったことを喜んだ発言でした。) 私はもちろん煽るつもりはなかったですが、確かに無神経だったと思い、傷つけたことと、気遣えなかったことを謝りました。 『前もあったけど、今後もこういう無神経なことを言うのか』と聞かれ、もちろん故意にやる訳はないので『今日のことは反省している。今後発言に気をつけるごめんね。』と言いました。 『なんでそんな傷つけるような発言が出てくるのか理解に苦しむ』と言われたのですが 私も過去、彼に言われて傷ついた言葉はいくつか覚えているものがあります。たとえば容姿に関するイジリ、仕事に関して『俺も女の子だったらよかった』等、彼は冗談のつもりでも私は傷ついた内容だったときは、その都度『それ冗談でも嫌だからやめて』といってやめてもらっていました。 私は人間は気をつけていても、無意識に相手にとって嫌な言葉を発してしまう事は時にあると思うのです。 私の場合はその後の対応で、謝って今後言わないことにしてくれればよいと考えています。 しかし彼の場合その一回目すら言わないで欲しい。それで別れたこともあると言います。 今後も気をつけていきますが、どの発言が彼を傷つけるか気にしながら話すことになり、彼との時間を楽しめなくなってしまうのではないかと不安です。 しかし今彼が機嫌を損ねている状態で、過去の発言を持ち出すのは、さらに喧嘩が拗れそうとも思います。 今後の付き合い方や伝え方についてアドバイスがあればぜひお願いします。