２０歳息子にかまってしまう

２０歳の息子がいます １つ下の弟は重い知的障害があります。 息子が3年生の時に離婚して、数年後にお付き合いする人が出来て、息子が成人したタイミングで再婚しました。 今の旦那さんは再婚前から下の子の世話も良くやってくれて、息子の事もキャンプやゲームセンター、海、旅行など色々連れて行ってくれました。ただ、門限破ると怒ったり、父親がわりになろうと焦って空回りしている様に見える時もありました。 息子は今の旦那さんを好きでも嫌いでもなさそうですが養子縁組はイヤだと言うので息子だけ苗字はそのままです。 再婚にはどうでもいいと言う態度です。 この息子にどうしてもかまってしまいます。「弟ばかり可愛がって」と昔言われた事、「なんでウチは普通じゃないんだ」と言われた事（離婚して父親おらず、かと思えば知らないおっさんが代わりに来るし…的な） 等が私の心に残っていて、負い目を感じてしまうのです。 そしてつい「しなくて良い苦労をさせてしまったから」と甘やかしてしまいます。 自転車がパンクしたと言えば直しに行ってあげたり、昼飯代がないと言えば出してあげたり、学校に遅刻すると言えば車で駅まで送ったり。 自分でも良くないとは分かっているのについついかまいます。 同じ様な思いをしたことのある方、どう踏ん切りをつけたか教えて欲しいです…