副業の職場で、人間関係について言われることは当たり前ですか

タイトル通りです。 副業で週３日、アルバイトをやっていましたが、人間関係が 良くない（人ともっと関るべき、）と言われていました。 その場の環境は、 正規・非正規雇用（学生バイト除く）含め、皆フルタイムで働き、 社会保険・福利厚生完備（社員登用あり） 私のみ、週３日だけの限られた時間（就業規則で、残業・必要業務以外の仕事できません。 これは人事や店舗の店長にも言われています）で、自給・交通費以外の恩恵無し。 因みに、出勤・退勤時もちろん、挨拶しています。 作業中の簡単な雑談＝仕事に支障が出るので、簡単な一言、二言で返すのみ。 休み時間に、少しは他の人と関ろうと話したこともありますが、 様子からして迷惑かな、（ご飯は一人がいい、と言う人も居ますし）と思い 会釈して離れ、大体一人で居ました。 本業とその勉強・金銭事情で、仕事後に皆と飲み会・・・出れません。 仕事で注意されることが多かったり、 人との関わりが～と言われたりしたので、 私が悪いかと思い、でも改善が分らず 店長に相談したら、（具体的なその時のやり取りや、 私が注意された点述べました） 貴方は良くやってくれている、それは評価している。 大丈夫、と言われました。 ただし、他の方達のうち数人から、 「皆が遅くまでやっているのに、もう帰るの？」（←就業規則は？） と言われることもありました。 更に他の方から「～さんと話し、してる？」 業務関係はすると答えると、人付き合いは、個人差あるからねと苦笑されました。 辞めるときも、居なくなって清々するだろうから、 いくらか接し方柔らかいかな？ と思ったら、かえって今までで最高に皆不機嫌でした。 今は本業のみなのですが、副業をする人って、 世間から見てどうでしょうか？