退職した会社の方とのおつきあい

アルバイトや派遣社員、契約社員などで仕事を転々としてきてる者です。 実家の事情（自営業）などにより、腰を据えて正社員で働いた経験がなく、さまざまな職場で働いてきました。 どちらかというと、どのような方とでもすぐに仲良くなり、職場にも馴染むタイプだと思うんですが、その退職した職場の方との常識的なつきあい方、というのはあるものでしょうか？ 私は仲良くなった方とその後も連絡を取り合ったり、食事に行ったりする事が多いのですが、中には、快く思わない方もいらっしゃるのかな？と、ふと思ったのです。 やはり、上司にあたるような方だと、年賀状だけのおつきあいになったり、ご縁が無くなる事が多いです。 長期間同じところで働いた事がない為、欠如してる意識がないかと気になりました。 さすがに、元の職場に遊びに行くといった事はしていません。 変に気にし過ぎでしょうか？ 皆さんはどのようなおつきあいをされていらっしゃいますか？