勤務時間中の私語は常識なのでしょうか？

事務職（一般事務ではなく、入力専任。電話応対なし）の仕事をしていますが、
勤務時間中の私語が一言二言ではない人たち（リーダー・在籍の長いベテラン）の私語（会話のほどんどが、部下や会社への不満・他人の中傷・仕事に関係のない容姿を侮辱）がひどく、業務に集中できない為、
責任者に現状と改善を申し出で、加えて自分にも改善するべき点があるのなら指摘を受けたい旨申し出ました。
その管理者は、この部署に来てまだ数か月の為、「そういった現状は知らなかった。今後気に掛けるようにする。
ただ、今まであなたの勤務経験のある会社が私語の少ない会社でうるさいと感じるんだと思います。」と言われてしまいました。
翌日私が出社し着席すると同時に、噂を聞きつけたのか別の管理者達に、おそらく指摘を受けたいと言ったことに対して
「ねえ誰が言う？」「言って自信無くされてもね」「30いくつ（過ぎてる）んだよね？」と嫌味を言われました。その日は特に
何も言われず、後日何か言われるのかもしれませんが、責任者の
言うように、勤務中に立場が優位である事を盾に、言いたい放題
（直接注意するのではなくあくまでも嫌味）は常識の範囲内でしょうか？何十分・何時間している場合も日常です。