Не знаю что делать!!!!!

Не знаю, может, у мужа Вашего "программа" такая. В любом случае, не паникуйте. Если он чувствует себя виноватым - это уже ого-го! Главное, Вас виноватой не делает.
Уйти успеете всегда. Это уж точно. Попробуйте переждать, побороться. Скандалов не надо - это Вы правильно ведете себя. В этой ситуации Вы - пострадавшая сторона, т.к. простили и поверили, а он не оправдал доверия.
Вы вообще в курсе, что там за отношения? Случайная интрижка или они общаются?
Тяните одеяло на себя. Больше давайте ему поручений и просьб побыть с детьми и с Вами. То, что там на стороне - не должно оттягивать его внимания от семьи. Может, так и спустится на тормозах...