私のことをどう思っているのでしょうか？

最近お仕事が一緒で、よく関わるようになった年上の男性がいます。
私は２２歳で、男性は３つ上です。
私はもともと仲良くしたいと思っていた先輩だったので、とても嬉しかったです。
ほとんど一日一緒にいることが多い仕事なのですが、先輩の態度がよく分かりません。
日中は大抵少しぶっきらぼうで、近くに寄ろうとすると少しびっくりした顔をしたり、苦笑したり、「あそこに座っていいよ。」などと言うので、あまり好かれていないのかな？と思いあまり近づかないようにしています。
また、その先輩には彼女さんがいるし、私に彼氏がいることも知っているので、あまり近づきすぎると不審で嫌なのかな、とも思い、なるべくこちらもなれなれしくならないように気をつけています。（人として嫌われていると思うのは哀しいので、後者の方を信じるようにしています。しかし先輩の彼女は同じ職場ではありません。）

しかし、先輩は夕方ごろ、仕事が終わりかけてくると急に優しく話してくれるようになり、話がはずんでしまってものすごく仲が良いようなムードになります。
そうすると私も油断して近づいてしまったり、はしゃいでお話してしまったりするのですが、嫌がる様子はなく、むしろ盛んに話かけてくれたりします。服や造作を褒めてくれたり、くだらない一言にも丁寧に返してくれます（昼間は、とてもそっけなく、返事を「うん」としかくれないこともあるのに、です）

あまりに毎日こうで、態度の振れ幅が大きく、私は、この人にどう思われているのか不思議です。
こちらはどういうつもり（仲の良い先輩としてか、あまり関わらないようにしたほうがいいか）で居たら良いのでしょう。私以外にはこのように態度の振れ幅が大きくはないように見えます。

想像などでもなんでも結構です。色々ご意見をお聞かせいただけたらと思います。