在男方不抚养孩子的情况下，离婚时孩子有可能归女方，但并非绝对，需要综合多方面因素来判定。

孩子抚养权的归属问题是一个复杂且需要综合考量的事情，不能仅仅因为男方不抚养孩子这一点就确定孩子一定归女方。法院在判决抚养权归属时，会以子女的最佳利益为原则，考虑众多因素。比如孩子的年龄，年幼的孩子尤其是哺乳期的孩子，一般更倾向于判给母亲；孩子的意愿，如果孩子已经具备一定的认知和表达能力，其意愿也会被重视；双方的抚养能力和条件，包括经济状况、生活环境、教育背景、品德等方面。

虽然男方不抚养孩子可能是一个不利因素，但如果女方也存在一些不利于孩子成长的情况，比如有不良嗜好、经济状况极差、没有稳定的居住环境等，那么也可能不会将孩子判给女方。即使男方当前不抚养孩子，但如果其能够证明有意愿和能力改变这种状况，或者有其他合理的理由，也可能会对抚养权的判定产生影响。

在实际情况中，每一个案例都是独特的，需要具体情况具体分析。如果面临这样的情况，建议双方通过协商来解决抚养权问题，如果协商不成，可通过法律途径，由法院根据具体情况进行公正的裁决。同时，无论抚养权归谁，父母双方都有抚养和教育孩子的义务，都应该尽力为孩子提供良好的成长环境和关爱。孩子的权益和幸福始终是最重要的考量因素。

《中华人民共和国民法典》 第一千零八十五条

离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。