彼氏との関係で悩んでいます

大学一年生です。交際して半年になる彼氏と今後どうしたらいいか悩んでいます。彼とは同じ大学同じ学部の同級生です。入学早々に仲良くなり、最初はよかったのですが、夏頃から温度差を感じる様になりました。彼は兎に角一緒にいたい、沢山スキンシップしたい！という感じです。私は人前でイチャイチャするのは好きではありません。構内でキスしようとしてきたことがあったので、そういう事はやめてと言いました。その時は「ごめん」と言ってやめましたが、帰りも一緒の時は必ず手を繋がないと機嫌が悪いです。私はキス以上のことは今はまだしたくないのですが、彼はそれ以上の事を求めてきたので「それならもうお付き合いはできないので別れて下さい」と電話で言ったら驚かれ「自分の要求ばかり言ってごめん！別れたくない！」「みかんが側にいてくれるだけでいいから」と泣かれてしまいました。私も、もう一緒に出掛けることもなくなると思うと寂しい気持ちになり、話しあってもう一度お付き合いをすることになりました。学校で一緒にいすぎるので、一緒のランチは木曜日だけにして他はそれぞれ友達と食べる事になりました。そして不満はその都度言おうと。先日、復縁後？初めての休日デートでしたが、彼はとても私の顔色を伺っていました。映画を観てお茶をしていた時は楽しかったのですが、私が「明日朝からバイトだからそろそろ帰る」というと「えっ？」と言って青ざめた様な表情になり。どうしたの？と聞くと、また私が急に去っていってしまうのではないかドキドキしている、と。「俺今も何か変な事したかなって」「いや、そんなんじゃないよ、嫌なことはちゃんと言うって言ったよね」と言っても「もう俺、みかんがいなくなったらダメなんだ」って…。なんか、重いなと感じてしまいました。彼は優しいしスポーツマンだし誠実で良い人です。私は楽しくお付き合いしたいけど、もう難しいのでしょうか？