隣の席の人との距離感

職場で、部署は違うけど席が隣の人がいます。（私女性、隣の人男性） 朝出勤すると、それぞれ別の部署に向かうのですが、空いた時間や昼休憩のときは戻ってきます。 そのわずかといえばわずかな時間なのですが、そのあいだお互い接点もあまりないので話すこともなく、そのうえすごく静かな空間なので世間話をふるにしてもまわりに筒抜け、静かすぎて萎縮し、それをあっちも感じ取っているようで非常に気まずいです。昼をとるときも、自分の咀嚼している音がとなりに聞こえそうなくらい静かで、ものを飲み込むだけでもすごく緊張してしまいます。 隣なので思い切って仲良くなったら楽だと思うのですが、その人は男性なのでなんか話しかけたりしたらその人を狙ってるみたいに周りに思われるのも嫌だし‥（ちなみに自分はいわゆる適齢期女性）とか思ってしまいます。 なので、席で仕事しているフリしてても全然集中できないんです。席替えとかないので、これからこの状態がずっと続くのかと思うと本当に憂鬱です。どうしたらいいと思いますか‥？？？