神経質？　vs　無神経？

30代の派遣社員（男性）です。
昨年、念願のマイホーム（築30年ですが）を購入致しました。
家庭の事情で両親は別居しており、私は母（50代パート）と祖母（80代）
の3人で生活しております。（父は私の兄弟全員から見限られています）
ローン払いは大変ですが、心穏やかに暮らしておりました。

が、私の弟（20代後半）が転がりこんで来て以来、心が休まりません。
弟は別の街で勤めておりましたが、派遣先の都合で職が無くなりました。
そこで、少しの間だけ同居させてとやって来たのです。
同じ派遣社員の身、と同情したのが大間違いでした。
何かのバイトはしていますが生活費を一円も入れませんし、
同居の家族には気遣いをせず我儘放題です。
そして、一番の問題は煙草です。同居時に家で喫煙はさせないと言い渡していたにも
関わらず、煙草をふかし、家中にヤニ臭さが広がります。
文句を言えば「あんたは神経質だ」と開き直るのです。

自分から出て行く気配もなく、追い出したいのですが、
母が弟を溺愛しており難しいのです。
このような相手、どのように説得すれば良いのでしょうか？
アドバイスをお願いいたします。