収入を教えてくれない夫

現在、夫(自営業）、私（週１のパート）、1０歳、８歳、４歳の子供の5人家族なのですが、夫との事を考えると、憂鬱になってきてしまいます。

夫の収入は手取りで月に５０万円前後なのですが、家計に32万円（住宅ローンや教育費、保険全て含む）入れて、あとは自分の仕事での必要経費(うち7万は夫の実家への借金の返済）だといって明らかにしてくれないせいです。私としては、１０万円近くも経費がいるとは思えなくて、納得いきません。内訳をきいても、教えてくれません。
夫の実家への借金(月に7万返済）も夫がカードを使いすぎてたまった返済を肩代わりしてもらったためで、去年中にはその実家への借金も返済予定だったのに、延び延びになっています。

結婚当初、収入が２０万弱しかなかった頃は私が家計を任されていました。
また、最近、自動車の任意保険に入ってなかった事が分かり、急いで、私が加入手続きしたのですが、等級も割引なしからのスタートになったりしたのもあって、私が家計や仕事の必要経費を含め、管理すると提案しても、絶対嫌だといいます。過去、収入が少なくて管理が難しかった時は私に任せていたくせに現在のように、少し余裕が出てきたら、私に家計を任せてくれないの夫は、とっても、ずるいような気します。
周りの人に相談すると、、「家に３２万入れてくれてるんなら、良いじゃない～！？」って言われたりもします。

けど、時々憂鬱になってきて、こんな信頼できない夫とは別れたくなります。夫にそういうと、じゃ別れよう、といわれました。結局、子供の事や、生活費のこともあって離婚は免れましたが、私の気持ちはやっぱり、すっきりしてません。とりあえず、生活できているのだし、不満を持つ方が贅沢なのでしょうか。
どう気持ちの整理をしたら良いのかアドバイスいただければありがたいです。