つきあい残業を強要されているようです。

こんにちは。27歳の会社員です。 今年の2月に、現在の会社（出版関係）に入社いたしました。 一年間契約社員を経た上で、正社員になれるという形態での勤務です。 給与は年俸制です。 入社する際に、人事の方に残業代の有無を確認したのですが、 「給与の中にみなし残業分が含まれており、それは月に10-20時間分ほど」ということ。 そして、残業の必要性に対しては「個人の裁量に任せる」とのことでした。 実際、勤務に就いてみると残業するまでの仕事量ではありませんでした。 しかし、定時に帰ろうとすると上司が「周りの空気を読め」「協調性がないのか」というようなことを言うのです。 確かに忙しい職場ですし、定時にあがれない人たちがいることも確かです。 しかし、私はきちんと定時までに仕事を終わらせており、それ以上居残る理由がないのです。 最近では、私が残業をしないということで、「仕事に対するやる気がみられない」だとか「残業もしないくせに」というようなことも言われます。 残業をしないことはそんなに悪いことなのでしょうか…。 皆さんの意見をお聞かせください。