公私混同してしまう

職場にいるアラフォー男性に対して公私混同をしてしまいます。
どうにかして止めたいと思うのですが、顔を見ると即公私混同です。
事の発端は私が働き始めた当初にさかのぼります。
私は彼より少し年齢が若く、メガネおばさんです。
メガネの女性が好きだと言う話になり、物好きもいるものだと聞き流してしました。
その後、他部門に入ってきた女性を点数化したり、通勤の時に不細工な女性を見たので食欲がわかない等の話をしていました。
更に、家庭があるのですが外にも親しい女性がいて、面倒なことになったのである日突然連絡を止めたそうです。
自分からの連絡が無ければ自然消滅だと悟ってもらえる、自分から別れ話をするのも面倒なので悟ってもらうのが一番だと話していました。
自然消滅の方以外にも親しい方がいるようで、休み時間にはネットで指輪を見ています。
仕事ができる方ですし、個人的なことなので職場の誰も彼をとがめません。
色々話を聞いているうちに、顔を見るだけで嫌な気持ちになるようになってきました。
洋服をほめてもらったり、髪形を提案されると気持ち悪くて仕方ありません。
業務に関係ないので、とそれとなく話を反らすのですが、女性としての身だしなみは業務の一環。嫌な思いをさせたなら謝るし2度と言わないと言うので信じたのですが、あまり改善はされていません。
仕事上の付き合い、ここは仕事をする場所だと言い聞かせてはいるのですが、その方が来ると嫌気がさします。
どこの職場にも合わない人、生理的に受け付けない人っていると思います。
みなさんどうやってお付き合いされていますか？
公私混同をせずにビジネスだと割り切りたいのですが上手くできません。
攻略法があれば教えてください。