会話のリズムが合わない。
共通の話題がない。
相性が悪い。

のではないのでしょうか。

男性と話す方が、共通の話題が多いとか。

>何度か転職をしましたが、どの会社でも、同僚との会話がうまくいきません。

という場合、トピ主さんに何か問題があるのでは？と思いました。
例えば話題であったり、話し方が上から目線であったり、何か相手が「話したくない」と感じさせるものがあるのでは？

その派遣さんが男性とは積極的にお話されるとのことですが、職場の男女比率はどうでしょう？
もしくは、独身であるならいい人を探しているのでは？

どんな職場へ行っても人とうまく会話が出来ないのなら、相手に問題があるのではなくトピ主自身に問題があるのだと思います。
新しく来た派遣さんも男性とは楽しく会話しているのですから、単にトピ主と会話したくないだけなのでしょうね。
トピ主は必死に何を話しかけているのですか？
仕事に関すること？それとも仕事と関係ない私的な話ですか？
相手の話は聞いていますか？
もしかして、人の話は話半分で、自分のことばかり話していませんか？

業務中に他人の行動を監視する必要は無いと思います。

客観的に見れば、男性社員が話しかけたとも考えられます。

飲み会での与太話を「言質」にするは如何でしょう？


なんか普通に読み取れば、男性女性では無く、
貴女の事が嫌いで避けているだけの様な気もして来ます。

貴女が何に悩んでいるのか、何故悩む必要があるのか・・・ワカリマセン

何を悩んでるのか、イマイチ伝わってこないです。

同僚とうまく会話できるようになるには？

その男性とは話す派遣さんと、仲良くなりたいけど？

その派遣さんとは合わないのでしょう。追わない方がいいです。

文章よむかぎり、あなたはノリのいいタイプではなさそうなので、とにかく余計な事を考えず、仕事を一生懸命やって認められるしかないと思います。

社会人として最低限のコミュニケーション（挨拶、笑顔）は取りつつ、実力をつけるように頑張ってください。

　職場ですし、私語ははずまないくらいでちょうどいいのではないでしょうか？休憩中ならともかく、仕事中なら盛り上がりすぎるのはどうかと思いますし。

　飲み会や行事で会話が無くて気まずく思われるのは、トピ主様が気を使う性格だからではないでしょうか？無理に話さなくてもいいと思います。神経をすり減らすだけです。ストレスになってしまいますし。

　仕事での付き合いの飲み会や行事は、適当に周りの会話に相槌を打ち、ご飯食べて飲んで、無難にに過ごしておけばいいと思います。仕事って、本当に楽しいことばかりじゃないですよね。

　あと、同僚の方は男性とは話しているとおっしゃっていましたが、その男性は社員の方でしょうか？だとしたら、胡麻すり（言い方が悪くてすみません）で話してるだけではないでしょうか？

その彼女はあなたと話をしたくないようですから
ご希望通りにして差し上げたら良いでしょう。
男好きなのでしょうか。そういう人いますよね。
「男の人が苦手」と言っているのに積極的に話しかけている人もいますしね。
変な人は放っておきましょう。

他の女性の同僚はおられないのでしょうか？
誰か仲良くできる人がいたら良いのですが。

・・と思います。
多分、あなたとは合わない、ということなのでは？

男とばっか話してるわけじゃないと思うよ。
合わない男性とは話さないでしょうし、気が合う女性となら、話すと思います。

お仕事きちんとやってれば、それでいいんじゃないですか？

うちの会社で異動に伴い、周りがおしゃべりしてくれない、と辞めた女性がいました。
（もう十数年前ですけどね）

会社、職場って話にくるところなのでしょうか？
仕事をしていれば良いのでは？

余計な雑談で時間取られずラッキー、と私なら思います。
何がしたいのかな。
コミュニケーションが会った方が、円滑に進む仕事もありますが、その内容は業務に関すること
のはずだと思いますよ。
関係ない多様な話題を勤務中に降ってくる人は迷惑で、ウザがラレルかと。