前の部署の人との関わり方

閲覧ありがとうございます。
社会人2年目女です。
先月1日から部署異動をし、早1ヶ月、新しい部署の人たちも親切でなんとかやれています。
ですが、タイトルにある通り前の部署の人たちとの関わり方について悩んでいます。

10/1、前の部署に忘れ物をしたことに気づき、勤務終了後に元自席で確認していたところ先輩(女性)から「何してるの。あんまり前の部署に居座るのはどうかと思うんだけど」と指摘を受けました。(その時の先輩の気迫に押されて『忘れ物を取りに来た』とは言えず謝りました。後で思ったことですが前の部署は割と様々部署の人が入れ替わり立ち替わり来るので元自席で順番待ちをしていたと誤解されたのかもしれません。声をかけずにデスクを漁った私にも非があったと思います)
前の部署でこんな私を好いていてくれた方も何人かいて(自分で言うのもなんですが)私が仕事の用事で前の部署や廊下で会ったり1人でお昼を食べていると声をかけてくれる人、お菓子を分けてくれたりする人がいます。
ただ、先輩との一件があってから仕事の話以外で自分から前の部署の人に声をかけないようにしよう、輪に入らないようにしようと気をつけていました。もちろん挨拶などはしていましたが。
先日、社内のレクリエーションがあり、今の部署は自由参加・前の部署は強制参加という形でした。私は行くつもりはなかったのですが、先述の人たちのお誘いがあり参加し、ちょっと顔を出すだけのつもりが引きとめられ長居をしてしまいました。
厚意を持っていたけるのはとても嬉しいですが、このまま前の部署の人と関わり続けるのはまずいのかなと思っています。先ほどの先輩をはじめとする前の部署の人にも新しい部署の人にも印象悪いかもしれません。
でも声をかけてくださる方の厚意を無下にはできない…という板挟みで悩んでいます。
どうか関わり方についてお知恵を貸してください。