Стоит ли бороться?И как?

Что делать - это уже решать, конечно, только тебе. Ориентируйся на свои взгляды, убеждения, слушай свое сердце.
Я могу написать только как я бы в этой ситуации поступила. Выгнала бы нафиг. И жила бы припеваючи в квартире.
Не хватало еще унижаться и терпеть. Детей нет, прожили немного. За что бороться, если человек не готов к семейной жизни и ответственности. А остаться с ним - значит, обречь себя на такую вот жизнь. Надо оно?..
Все мы совершаем ошибки, не надо себя корить за это. Если уж ошибка случилась - надо ее исправлять.
Вот такое мое ИМХО.