飼い猫（雄）について悩んでいます。

生後２ヶ月の時にシェルターから頂き、飼い始めて３年目の雄猫（2歳半）について悩んでいます。 飼い始めから、全く人懐っこくなく、日中はお気に入りのソファの下に隠れている猫ちゃんです。日中はいくら遊ぼうと声をかけても出てきません。 当方、現在1歳の息子がいて、さらに妊娠中。夜、息子が寝て、さぁゆっくりしようとすると、次は猫ちゃんが遊んでくれとニャーニャーせがんできます。しかし（元々なのですが）数分遊ぶと、もう興味を示さずどこかへ行ってしまいます。そしてまた数分経つと寄って来て、なにやら遊んで欲しそう。でもまたすぐにどこかへ行ってしまうの繰り返しです。 一時期妊娠のため体調が辛く、息子の世話で精一杯、猫の世話が二の次になってしまった時期があり、猫にも相当なストレスが溜まったのか、部屋中で粗相をされました。（ソファー、絨毯、イス、かばん等々）さすがに匂いがひどく、専門業者に掃除をしてもらい、それ以降は猫を私たちの寝室で飼うようにしました。それでも、夜中に突然泣き出し、眠っていたため相手をしなかったら、掛布団の上に粗相をされたり... 最近は、さすがに自由にさせてあげたいので息子が寝た後は家中自由にさせ始めたのですが、冒頭のように、ニャーニャー攻撃、遊んでもすぐに飽きてどこかへ行ってしまうの繰り返し。 何度も粗相をされたので、ニャーニャー泣くのをほっておいてはまた粗相されてしまうのでは？！と私自身がビクビクしているせいもあり、最近、なかなか猫を可愛いと思って相手してやれなくなってきました。お腹が空いているのか、餌を追加すれば収まる時もあるのですが...（最近食欲も以前の2倍くらいに） 夫は大の猫好きで色々相手をするのですが、なにせ夜寝るのが早く、夜遅くまで起きている私が猫の相手。 ただのぼやきですが、ひどい飼い主ですよね。どうしたら、猫の不満を解消できるのでしょうか。