このマイホーム購入計画、どうでしょうか？

マイホームの購入で悩み中なので、相談させてください。
夫婦ともに30代半ば、子供は未就学児が2人です。
共働きで、現在は都内の会社まで一時間強かかる近県の社宅に住んでいます。
あと2年で上の子供が小学校にあがること、そこで妻の時短勤務が終了することから、もう少し会社から近い場所にマイホームを買うべく、現在探し中です。
当初はマンションで探していましたが、管理費や修繕積立金、駐車場代がかかること、いずれ住み替えが必要になること、資産価値の観点から戸建で考えています。

そして、相談していた不動産から先日、希望に近い土地を紹介され、今は迷いに迷っている最中です。
土地は東京23区内で24坪弱、一応南西角地ですが、接している道は車一台が通れるくらい。北と東は3階建ての隣家とピッタリ接しています。参考プランではギリギリ2階建てが可能です。最寄り駅徒歩5分で、通勤は30分弱と交通至便です。
もう少し広さと日当たりを求めたかったのですが、価格との折り合いもあり、この交通至便さをとるなら、そこは仕方ないかと思っています。
価格は上物とあわせて5,500万円はいくと思います。
我が家の世帯年収は1,200万、貯金は2,000万です。(年間貯金額は400万円程度)
この物件を買う場合、1,000万円を頭金にあて、残りの4,500万円はローンを組むことを考えています。

そこで2点ご相談したいのですが、
このような隣家とピッタリ接した3階建てが並ぶ住宅の住み心地はいかがでしょうか。1階の北東側に日が入らない部屋ができてしまうので、湿気やカビも心配です。
また、住宅ローン等資金計画に無理はないでしょうか。

家を購入された先輩方や住宅購入にお詳しい方、アドバイスをいただけたら幸いです。
最近は家のことが頭から離れず、すっかり検索魔です。。