内気な人に頼られて困っています

とても下らない悩みなのですが、ご教示いただけると嬉しいです。

既婚28歳女性です。
ここ数か月同じ仕事をしていたAさん
（同い年の独身男性）への接し方で悩んでいます。

Aさんは下請企業から出向してきていてすごく寡黙なかたです。

最初なかなか打ち解けられなかったので
打ち合わせをもちかけたり、なるべく親切にしていましたが
それがいけなかったのか、違う作業に分かれた後でもいろいろと聞いてくるようになりました。

最初は私が答えるべき仕事のこともあったのですが
そのうちAさんのほうが詳しいことや、調べ方がわかっていること、
時には趣味や主人のことまで（答えませんでした）聞いてくるようになりました。

一緒に出向してきている仲間や他の社員が隣で仲もとてもよさそうなのに
隣にやってきて
私が「わからないです。＊さんに問い合わせては？」と言っても
「そうですか・・・・すみませんです・・・ところで・・」と続かれて、終わりません。

私は時間内に作業をしなければならない契約なのと
集中力が途切れてしまうので・・・正直煩わしいのです。

そのうちPCに向かってぶつぶつ言いだして「何かありましたか？」と反応するとニヤッとして話し出します。
できるだけ冷たくしても気付かないのか効きません。
そのうちそばに来られるだけでムカムカするようになってきてしまいました。
冷たくした後は「彼も悪気はないのに」と自己嫌悪します。
頼られる器じゃない、小さい人間になったようで落ち込みます。

どうしたらいいでしょうか。

出向元の上の人に言おうかと思いましたが
全部私用の雑談でもないし、「わきあいあい」の社風なので
自意識過剰だとも思い、とどまっています。
ちなみに私は正社員ではないのでAさんを監督、サポートする責任はありません。