Mi esposo y yo No soportamos nuestras familias!!! qué hago?

Hola...estoy muy confundida. Mi situación es la siguiente:
Mi esposo y yo llevamos dos años de casados, ahora estamos esperando un bebé y estamos felices. Aunque él ya tiene un hijo de una relación pasada.

Él y yo nos la llevamos muy bien, nos comprendemos y tenemos una buena comunicación. Ninguno de los dos es amiguero (no por la relación, sino que esa es nuestra personalidad). Por lo tanto, durante estos tres años que llevamos como pareja, compartimos y disfrutamos muchas cosas juntos, casi todo. Esto para su familia es un lío total, especialmente para su hermano, al que le encanta embriagarse con él todos los fines de semana, pero sufre porque mi esposo anda conmigo. O también se estresa, cuando mi esposo le dice que no a sus invitaciones. Por lo que ha tomado represalias conmigo y me irrespeta con un humor pesado.

En cuanto a sus padres, la relación conmigo es muy seca, no irrespetuosa pero tampoco afectuosa.Los respeto como familia de mi esposo pero no existe un vinculo más allá de eso.

Por otro lado, mi esposo no se siente muy a gusto con mi familia, pues son personas también secas e indiferentes (cosas a las que él dice no haber estado acostumbrado antes, pues él es muy simpático y sociable). Sin embargo, lo respetan y admiran mucho.

El lío es entonces a la hora de compartir con nuestras familias, pues ninguno de los dos se siente a gusto con la otra. Hace algunos días hablamos de aceptar que eramos diferentes y simplemente ignoraríamos esas actitudes de los demás. Pero ahora parece que se ha vuelto inmanejable, pues él se estresa demasiado en nuestras reuniones familiares y se aburre. Por lo que me ha dicho que es mejor, para no quebrantar nuestra relación por culpa de terceros, que cada uno comparta con su familia sin involucrar al otro.
La verdad no sé si esta sea la decisión más sana para nosotros como pareja, como una familia que estamos formando. Pues aunque bien sabemos que ahora nosotros somos esta familia; también a los dos nos gusta compartir fines de semana con nuestros padres y hermanos. Y yo me siento feliz de poder reunirme con las personas más importantes para mí, incluyéndolo a él.

Por favor........ qué debo hacer? Esa solución que él me da es la correcta? Existe otra forma de manejar la situación?