抚养权给了男方是能要回来的,女方可以先与男方协商,协商不成的,可以向法院起诉,如果男方有以下情形之一的,法院会准予变更抚养关系:1、因患严重疾病或者因伤残无力继续抚养子女;2、不尽抚养义务或有子女行为,或者其与子女共同生活对子女身心健康确有不利影响;3、已满八周岁的子女,愿随另一方生活,该方又有抚养能力;4、有其他正当理由需要变更。【法律依据】最高法院关于适用《民法典》婚姻家庭编的解释(一)第五十六条,具有下列情形之一,父母一方要求变更子女抚养关系的,法院应予支持:(一)与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女;(二)与子女共同生活的一方不尽抚养义务或有子女行为,或者其与子女共同生活对子女身心健康确有不利影响;(三)已满八周岁的子女,愿随另一方生活,该方又有抚养能力;(四)有其他正当理由需要变更。最高法院关于适用《民法典》婚姻家庭编的解释(一)第五,父母双方协议变更子女抚养关系的,法院应予支持。