苦手な男の人と２人きりの会社

はじめまして。
ご相談させてください。

３人の会社で働いております。（男性２名とわたし（37歳既婚））

一人の方とは、２人になってもストレスなく過ごせておりますが、
もう一人の体育会系の男の人とは超ストレスです。

グループ会社の女性にもこの方は不人気です。
うまく言えませんが、沈黙恐怖症、なおかつ男性優位の思想の持ち主です。ですが、いろいろと気を使ってくれます。
でも、それが気を使っているのか、避けているのかいまいち判断がつきません。２人きりになると、ずーっと、喫煙所にいったままになったり、
定時前なのに、もう帰ってもいいよ　などと言われます。ありがたいのですが、なんとも複雑な気持ちです。辞めてほしいのでしょうか？
でも、私の立場が他の女性になったとしても同じだと思います。

どう対応したらよいでしょうか？
文章が下手ですいません。