Разводиться или нет

Мы с мужем вместе 5.5 лет. Для меня это первый брак и первые серьезные отношения., для него второй-причина развода-измена со стороны бывшей жены. 
За время наших отношений с моей стороны не было никаких намеков на измену, но видимо опыт предыдущих отношений сильно сказался на способности мужа доверять. Я его действительно люблю, но договориться с ним о некоторых моментах мы не можем. 
У меня есть родственники, с которыми с периодичностью в несколько месяцев мы собираемся. Последний раз вместе с мужем мы были у них в гостях 4 года назад. Затем муж не соглашался ехать к ним, никак не объясняя. Я тоже без него ездить перестала. Прошло так около года, я впервые поехала без него. Всего несколько часов, но меня ждал скандал, потому что я поехала без него. Перед родственниками я его прикрывала: мол работает или устал. Его снова ждали, снова приглашали. 
Потом начались предъявы, что я раз в месяц на пару часов уезжаю в город, в котором я раньше жила, погулять со школьной подругой. Мы знакомы 14 лет, она мне как сестра, да и с мужем моим они знакомы. У нее своя семья, двое детей. Мы не проводим время по кабакам, клубам или ночами не пропадаем, нет. Он просил приезжать домой до 7-8 часов вечера, я шла на эти уступки.
Но ограничения и предъявы только увеличивались, говорил,  что для меня родственники и подруга важнее, чем он. Хотя мы вместе были всегда, кроме рабочего времени. 
Сейчас он на СВО, в моем поведении ничего не изменилось. Я не гуляю по ночам, не напиваюсь, я всегда дома, всегда с ним на связи. Но сейчас дошло до того, что он говорит мне о разводе, если я не перестану ездить к родственникам или подруге. 
Я не знаю, что мне делать. Я понимаю, что я не хочу так жить, не хочу постоянно отпрашиваться, не хочу унижаться и объяснять, что эти люди для меня родные и часть моей жизни, как и он. 
Но и на развод я не знаю, как решиться. 
Прошу, помогите. Как мне донести до него, что это нездорово так ограничивать другого человека и отстоять себя. Либо помогите решиться на развод