まわりとうまく馴染めない・・・

３０代後半の派遣社員です。派遣先がかわるたび周りのひととうまく馴染めず悩んでいます。もともと人見知りなせいもあるのですが、話しかけられてもうまく会話が続けられないというか。特に趣味もなく、運転もしないし、旅行などもめったにしません。つまり話題がないのです。私があまりに無口なため周りの人が気を使って話かけてくれたりするのですが、振られた話題についてわからなかったりすることが多く『へぇ、そうなんですか（笑顔）・・・』で会話が終了してしまい話をひろげられません。せいぜい相づちをうつのがせいいっぱいなのです。私としては仕事の合間の雑談などをして和みたいのですが、話題がないので相手に話を振る事もできず、一日黙って黙々と仕事をしているのです。同じような方いらっしゃいますか？