彼の心理がわかりません

先日、彼の家の近くの喫茶店でお茶をしていたときのことです。 彼と向かいあってお茶をしていたとき、一人の女性が入ってきて、彼の後方のテーブルにすわりました。 特に目立った美人ではなかったんですが。。。彼はイスをずらして、チラチラみるんです。一回や二回なら、まあ男心的にしかたがないのかなと思ったんですが、かなり頻繁にみるんです。まん前に私がいるので、私が気づくのはわかるとおもうんですが。。。店を出たあと、彼に「落ち着かなかったみたいだけど、なんかあった？ときくと、「なにもないよ」といって笑うんです。 私たちはつきあうという言葉なしに始まっているので、こういう態度のひとつでも、私のことなんとも思ってないからできるのかなと考えてしまったりします。 こういう態度とられるというのは、彼女と思われてないのでしょうか？ 彼とは８月からのつきあいで、お互い30代ということもあり、仕事を優先していますが、時間のあいたときは彼の家で過ごしたりしています。 友達に話すと男性は女性を見るものでしょ？といわれますが。。。 そうなんでしょうか？