主婦のダブルワーク、やりたかった仕事ですが損ですよね？

現在、午前中4時間パートで働いています（年収101万年ほどで、夫の扶養家族に入っています） 以前から図書館司書の仕事がしたかったのですが、なかなか求人も無く、あっても応募多数で採用されることはありませんでした。 しかし最近夕方から4時間の司書のお仕事を見つけ（派遣）、相談に行ったところ採用になりました。とても嬉しいのですが、いろいろ計算するにつれ、損なことがわかってきました・・。 しかしそのお仕事は4月から開始なのです。 それでは今年の年収は、午前の仕事と合わせてざっと計算して150万円～160万円になってしまい、夫の扶養からはずれなければいけませんが、税金や年金、保険などを考慮するとマイナスになってしまますよね・・。 来年以降は、年収170万円～180万円（おおよその予想ですが・・。）になりますが、それでも扶養から抜けてトントンといったとこでしょうか？ どなたか、ダブルワークの経験があったり、税金に詳しい方、アドバイスをお願いいたします。 ちなみに夫はあと5年で定年退職をします。 それを踏まえると、目先の損得を考えずにお仕事をお受けした方がいいと思いますか？ 無知で申し訳ありませんが、是非アドバイスをお願いいたします。