上司が受ける一人飯の部下の印象

私は今昼食を女性は同期で、男性は同じ部内で行く会社に契約社員で途中入社しました。
最初の2日は同じ部の男性とご一緒しました。
女一人に抵抗は無いですが、食べるスピードが早く上司を待たせてしまいます。
正式に挨拶回りも済ませた日に近くの部の女性にお昼を誘われました。その方の同期のグループ（私と同年代）での食事はそれなりに喋れたのでその後もお願いしてご一緒させて頂きました。
3ヶ月経ち、社交辞令な話題が尽きれば喋ることができなくなりました。皆さんは会社の話題がほとんどで、まだ全従業員を把握できていないのでいつかわかるだろうと聞いてはいますが参加できず疎外感があります。
話題を振られることもありますが、一言二言で終わり、逆に質問しても膨らみません。気を使ってもらい申し訳ないなと思う気持ちと今更自分が話し下手なのを自覚し、憂鬱です。これまで友人に恵まれていたんだなと気づきました。
一度そんな思いになると苦しくなるばかりで積極的に話そうともしましたが、すぐには変われませんでした。
悩むなら昼食を一人で食べてゆっくり過ごし、気分転換にしようと考えています。逃げかもしれませんが・・・。
しかし、私にとって初めての契約社員で切られることはない。と思うのですが、ほぼ全員の男性上司が仕事仲間同士で食べている中、一人で昼食を食べるのは印象が悪く写りそうで心配です。上司としては社内関係が良いに越したこと無いし、一人イレギュラーがいると悪目立ちしますよね。なんで一人なの？ってなると思います。何と答えればいいのでしょう。
私は特に仕事は怠けているでも、かといってできるわけでもなく、という感じだと思います。覚えることはまだまだ沢山ありますが、仕事で女性社員との接触はあまりありません。あっても書類の受け渡しくらいです。
部下を持っている方、または似た経験の方ご意見お聞かせください。