うまく人間関係が築けない

48歳既婚で仕事はフルタイムパートの事務をしています。

20代のころからですが、職場内でうまく人間関係が築くことが出来ません。
20代では転職を一回して、その後出産退職をし、10年以上前から契約やパートなどで事務をしています。20代の頃の転職も会社内でうまくいかず、大きないじめもこそされませんでしたが、いつも誰よりも格下でした。そしてこの１０年もしかりです。話を出来る同僚はいましたが、飲み会などもさそってはもらえますが末席にしか座れず、話す相手もほぼいません。というかおしゃべりはしますが長続きしません。人間的に魅力がないのだと思います。契約やパートで何箇所か職場は変わりましたが、もちろん契約満了などの退職がほとんどでしたが、契約延長ぎりぎりの年数在籍できたことはありません。
人間関係でどうしようもなくなって思い切って就活してきました。運がいいのだと思いますが、今まではスムーズに仕事が決まっています。
でも本当はじっくり同じ職場で仕事がしたいのです（雇用期間の制限があると思うのでその範囲内で）
それなりに明るくまじめに仕事を取り組んでいるつもりですが、他の方たちがとても仲がいいのにいつもアウェイな状態です。友達作りのための仕事ではないとは分かっていますが、ママ友たちが同僚と出かけたとか、辞めた職場の人と会う、とか聞くとうらやましいです。そういえば子供のPTAも役員などを引き受けましたが、期間内は力を合わせてやり遂げることが出来ましたがその後はなしのつぶてです。まれにですがメールをしますが、
返信こそいただけますが、LINEなどはまったく登録してもらえてません。

私に原因があるのだとは思いますが、いい対処法などあれば教えてください。