興味がない人や嫌いな人との会話

40歳の女です。
興味がない人や嫌いな人との会話が苦手です。

私は、職場で興味がない人や、嫌いな人とは、基本的な挨拶と仕事の話しかしません。
その人の家がどこなのか、趣味、休みの日にどうしているかなど、全く聞く気がしないです。
その人達が参加する飲み会には行きたくないですし、エレベーターなどで一緒になりそうになると、
露骨に避けてしまいます。
私は、転職で今の会社に来てから、7年程経つのですが、おそらく、一か月程前に入社してきた子の方が、
職場の人達のプライベートな情報を知っていると思います。

私にも親しくしている同僚が数名いて、その同僚達も私と同じ人を嫌っていたり、興味がないと思っているのですが、
私とは違い、きちんとその人達とも雑談しています。
また、先月、上司の事が嫌いで退職した人がいるのですが、送別会の時には、嫌いで辞めたとは思えないほど、
楽しそうにその上司と話していました。

私も、社会人として、好き嫌い、興味がある無しにかかわらず、雑談ぐらいはしないといけないと思うのですが、
いざ、話をしようとしても、全く何を話していいかもわからず、顔は能面の様に無表情になり、
やっと少し話したとしても、やはり興味がなく、無理やり話しているだけなので、会話が長続きせず、苦痛です。
例えば、単に味やにおいが嫌いで甲殻類が食べられない人と、アレルギーで甲殻類を食べるとアナフィラキシーショックなどの症状を引き起こすから
食べられない人とがいますよね。

私にとって、興味がない人や嫌いな人との会話は、アレルギーの様な感じです。
これはもう諦めて、愛想が悪い、感じが悪い人間として生きていくしかないのでしょうか？
私と同じような人はいますか？克服できましたか？
また、嫌いな人や興味がない人とも、雑談できる人はコツなどありますか？