他に男を探せという夫

1年の交際を経て授かり婚をした者です。
夫は初めて会った時から考え方が一般的ではなく、変わった男性だなと思っていました。それはそれで彼の個性と受け入れていたのですが、子供が生まれ1歳になった頃からたびたびこのような事を言うようになりました。
夫はADDで子供の頃は特別支援を受けていたことを結婚後に知りました。義理の母も夫の行動は極端で、子育てが他の夫の兄弟姉妹より人一倍大変だったと言います。離婚した義父が幼い頃夫に対して暴力振るったことも知っています。
夫は「開けたものは閉める」「使用したものは元に戻す」ことが苦手で毎日財布やスマホや鍵を無くしては探し、私にどこに隠したのか聞いてくるのと（もちろんそんな事はしません。結局自分の机の上にあったりします）すぐに思いつく作り話をするのが困るので、その事をお願いしようとすると激怒します。その後に何度も「俺といて不幸ならいい男を探せ」と言います。すぐに自分で言ったことも忘れてしまうことが多いです。その後ベタベタと「君は世界一綺麗で良い母で奥さんだ」などと言ってくるので本心ではないのだろうけど、せめて発言には責任を持って欲しいんですが、どうしたらいいでしょうか。私が折れて機嫌を直して貰えば済むのですがそれが解決策として良いのかもわかりません。
因みに私は彼とは逆で潔癖症で完璧主義なところがあり、融通が効かないと自覚しているので、お互いの悪い所は努力して治してこのまま結婚生活を続けたいです。やはり夫を愛しています。