意味のない会話にイライラ

最近職場で席替えがあり隣の席になった男性がいます。業務中に結構話しかけてくるのですが、会話に意味がなさすぎてイライラしてしまいます。

例えば
・「今こんな変換ミスしちゃいました」と見せてきますが特別面白いミスではなく、反応に困る
・突然「ゆきさんの苗字って全国にどの位いるんでしょうね」と言ってくる（よくある苗字なのに）。何か理由があって苗字の話を振ってきたのかと思って少し話を広げてみても何もない。
・私が仕事の電話をしていると、彼とは関係がない業務のことなのに「どうしたんですか？」と詮索してくる。説明したところで彼の管轄外なので「大変ですね」的な会話で終わる
など…

私も雑談は嫌いではないのですが、彼の雑談は「時間の無駄では？」と感じてしまいイライラします。かなりドライに対応しても減りません。

こんなことでイライラする自分がおかしいのか、他の人にも共感してもらえることなのか、自分でもよくわかりません。
最近は彼の歩き方や表情まで嫌になってきてしまいました。まとまりのない内容ですが、ご意見や対応方法などお聞かせ頂きたいです。