テスト対策でない英語

タイトル通りの質問なんですが
私は外国に移住したいとか、仕事したいとか、TOEICで高得点をとりたいとか
壮大な夢があるわけでなく、ただ英会話と海外の英語サイトも自由に
読みたいと思っています。

しかし残念ながら、あまり英語力が中学生レベルです。
何度も勉強に挑戦しているのですが、挫折してしまいます。
スカイプで海外の人と話していたこともありますが、
チャットも決まりきった事しか聞けないので、会話が続かず、
会話にいたっては聞き取れず、テンパってしまいます。

勉強方法を色々調べてみても、たくさん見つけてしまい、ついに
何から始めたらいいのかわからなくなってしまいました。
「とりあえずこれを始めにやっとけ！」「自分はこれでいけた」というものが
ありましたら、教えてください。愚直にやりたいと思います＞＜
ちなみに留学や英会話教室などは、現在の仕事や環境では不可能です。

スマホがあるので、アプリを利用しています。
学習にオススメのアプリがあれば、教えていただけたらありがたいです。
先達の方々、どうかよろしくお願いいたします。