Как жить с его бабушкой.....

Действительно, если переехать по каким-либо причинам Вы не можете, то остается только терпеть и относиться с пониманием (и с уважением к возрасту). Еще неизвестно, какие мы будем в 84 года
Поэтому терпение, терпение и еще раз терпение. Общайтесь с бабушкой спокойно, уважительно, но минимально.
Уверена, что и мама Вашего мужчины, и он сам все прекрасно понимают. И вряд ли из-за этого у Вас с ними испортятся отношения.