Viviendo en casa de mis padres

Hola tengo 19 años de edad estoy casada hace 1 año y medio tengo una bebe y el problema es que mi bebe, mi esposo y yo vivimos en la casa de mis padres y hace unos dias mi esposo tuvo un inconveniente con mi papa y mi papa lo voto de la casa y no es la primera vez siempre como que lo a votado,pero el y to nos amamos y me pidio para irnos a vivir aparte en un cuarto con nuestra bebe, peor mi familia me dice que no me vaya porque el alla me puede cobrar todas las que mi familia le han hecho y no se que hacer yo lo amo y se que el me ama y seria incapaz de hacerme daño digame que debo hacer.