職場でのふるまい、どうすればよかったのか

アルバイトで働いています。20代後半です。 職場は年配の方が多く、同年代はいません。 職場でのふるまいに悩んでいます。順序だてて書けないかもしれませんがご容赦ください。 初めは仕事を終えて職場に戻ったときと、帰り際にあいさつをしていました。しかしちょっとうっとうしそうだったので、帰り際だけあいさつするようにしていました。 しかしそうすると今度は私が、職場に戻ったときに気まずいような、寂しいような気持ちになるようになってしまいました。(やっかいですが…) 見かねてか向こうからたまに話しかけてくださったり、こちらからも何度か話しかけたのですが、狭い室内なのもあってどうしても沈黙に耐えられず、お互い窮屈な気持ちでした。 あるとき、寂しさかピークに達して、心の中で暴走してしまいました。それが多分漏れ出ていて、帰り際いつも笑顔であいさつを返してくれる方がしんどそうにあいさつを返されました。 その後日今度は、いつも唯一職場に戻ったときにあいさつしてくれた方に、私が毎度うまくあいさつを返せていなかったためか、帰り際のあいさつを見ないふりされてしまいました。 そこで私は、ああこれ以上関係を保つ努力をしない方がいいのかな、お互い疲れるし…と思い、その日から誰だろうとかまわず距離をとる努力をするようにしました。 しかし今日まで試行錯誤するも、仕草を若干乱雑なものにするぐらいしか思い付かず、あわあわして、うまい距離の取り方がわかりません。 それを、静かに扉を閉めろと怒られてしまいました。私は流すような返事をしました。 今後扉を閉めるとき、静かに閉めるべきなのか、でもあまり譲るとまた私が距離を詰めそうにならないか不安です。 嫌いになったわけでもないし、敵対したいわけじゃないのに、うまくいきません。 仲良くするか、敵対するか、二択しかないのでしょうか。