上司が掴めないのです・・。

はじめまして、少し長くなりますがアドバイス頂けたらお願いいたします。 私（２０代）の上司は４０代（既婚）でとても優しく接してくれます。しかし、普段まったく目をあわせようとしません。 それは、初めからではなくて、途中から目をあわせてくれなくなりました。 普通仕事の話などをする時などは、社会人として目をみて苦手でも一瞬見てそらすとかするものでは ないのかなあって思うのですが、まったく合わせようとしません・・。 嫌われているのだろうかと思って、できるだけ視界に入らないように、仕事でどうしても用事がある時以外は 話さないように努めていましたが、上司から「調子はどう？」とか荷物を運ぶのを手間取っていたら 「大丈夫？」といって手伝ってくれたり、目をあわせない以外は笑顔を見せるし、優しく接してくれるので困惑してしまいます。 電話で話をする時も、上司はいろいろとくだけて話をしてくれてお互いやわらかい感じで会話ができますが、 実際に二人きりになると変な空気になって私は上司の目をみますが上司は目をみずに話します。 嫌われているのかそうじゃないのかまったくつかめません・・。 女性に苦手って感じではない人ですし、どちらかというとプレイボーイのような印象を受けます。 他の方には目を見て話をされています。 なんだかこんな上司なのでどっちなのかびくびくしてしまって余計に気になってしまっています。 心理的に目をみないのは嫌い、あるいは苦手だから見ないと本で見たので・・・ これからも仕事以外の話はしないで事務的に努めるのがいいのでしょうか？ この上司の心理わかる方いらっしゃいませんか。。