夕食の誘いを断ったら

20代半ば独り暮らしの独身女性です。 小さな会社に勤めていますが、何かにつけ「皆で一緒」に辟易しています。 昼食は全員で同じテーブルで摂ります。外回りの人以外は外食は論外!のようです。入社当時、「お金の振り込みがあるからついでに外で昼食を摂る」と言ったら、振り込みの内容や期限まで根掘り葉掘り聞かれ、「引き落としにできないのか」まで言及されて、昼休みに外に出ることをよく思われていないことがわかりました。 ある時、帰りがけに30代(既婚子ども一人)の男性が「今日は奥さんがいないので、夕食を食べて帰らなければならない。一緒にどう?」と誘ってきました。年上の男性と食事をすると、御馳走になったり大目に出して貰ったりすることになるだろうから遠慮して「家で食べますから」断ったところ、翌日「とても付き合いの悪い女」という話題になっていました。別の男性からは「断る気持ちが分からない」などとも。 誘ってきた男性も、下心があるとかでなくて気軽に誘ったということは承知していますが、客観的に見て既婚男性が独身女性を誘うこと自体気を遣う人は遣うシチュエーションだと思うし、前述のように私自身は遠慮の気持ちからお断りしたのです(この理由は言っていません)。 どうして夕食の誘いを断ったことを、非難されなければならないのでしょうか?この男性のことは好きでも嫌いでもありませんでした。でもこの度のことで誘われたら付き合うことを強要されているような感じがするのです。その男性だけでなく、会社の雰囲気自体がイヤになり始めています。 このような場合、やはりお付き合いするべきだったのでしょうか?