友達より優先順位が下の彼女

職場恋愛で付き合って4か月目の彼がいます。 私と彼は同い年で、彼はバツイチです。 同じ職場に彼の以前の職場で親しかった公私ともに仲の良い先輩(男)がいます。 その先輩は私たちより３歳ほど年上で、以前の職場で彼とジムや筋トレの話で意気投合し好きなお酒の好みも合うことからとても仲良しです。 私の会社はビルの中でオフィスが別れており、私とその先輩は別のオフィスで、彼はその両方を自由に行き来している感じです。(彼には決まったデスクがありません) そのため私がいるときは私のいるオフィスにきて仕事をしたり時間があれば喋ったりするのですが、その先輩が出社している時は先輩のいるオフィスに直行し入り浸っています。 その先輩とは仕事の話ももちろんしますが、話の内容はほぼ趣味のスポーツの話や筋トレの話や車の話などどちらかというと仕事以外の話で盛り上がっているようです。 (うちの会社は売上さえあげていれば仕事中もかなり自由です） 先輩が帰った後は私のいるオフィスに来てくれるのですが、なんだか　先輩＞私　と彼の中でなっていることが寂しいと感じてしまいます。 それをそのまま言ってしまうと重い女とかめんどくさい女の思われてしまうかもしれないので口にも態度にも出していないつもりですが、仲良しの先輩より常に二の次の自分が少し寂しいです。 でも男性の先輩なので仲良しの友達のような感覚でもあると思うので、焼きもち？を焼くのも違うような気もするけれど恋愛経験もあまりなくどのように考えれば良いのかわかりません…。 ちなみに明後日彼と１泊２日の温泉旅行に行く予定なのですが詳細が何も決まっていないため今日はその話もしたかったのですが、やはりその先輩と終始話しておりその後は趣味のジムに行ってしまい連絡がつきません。 どのように考えたら良いのかご意見を頂けないでしょうか。 よろしくお願いいたします。