我跟我老公四年没见过了,小孩也从未管过,去年我只有回去起诉离婚,他也没出庭,在QQ上发信息骂我无礼取闹不该起诉他,连他家人也打电话威胁我说小孩没我的份,可他人又不回来,又不出半分钱的抚养费,孩子都七岁了都不知道他爸长什么样,一直都是我带着的,如果他到时候回来能要走孩子的抚养权吗?我不放心把孩子交给他,太不负责任了