法律解析：

在怀孕时离婚，男方通常不能要回所谓的“孩子钱”。

首先需要明确的是，在女方怀孕期间，男方一般是不能提出的，除非存在特殊情形，比如女方提出离婚或者人民法院认为确有必要受理男方离婚请求。关于“孩子钱”这种说法是不准确和不恰当的。在婚姻关系存续期间，夫妻双方对家庭和子女都有共同的责任和义务，包括经济上的支持和照顾。

当婚姻关系解除后，对于未出生孩子的抚养和相关费用问题，一般会在后续根据具体情况进行协商或判决。如果孩子出生后，男方依法应当承担孩子的抚养费用，这是基于父母对子女的抚养义务，而不是基于所谓的“要回孩子钱”。

在法律上，保障妇女和儿童的合法权益是非常重要的原则。女方在怀孕期间本身就处于特殊的生理和心理状态，需要更多的关怀和保护。男方不能以不合理的理由要求女方返还任何费用。

并且，离婚后的子女抚养问题应当从有利于子女身心健康、保障子女合法权益的角度出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。男方不能通过不正当的方式来逃避自己的责任或获取不当利益。总之，在这种情况下，男方要回所谓“孩子钱”的要求是没有法律依据的。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五十六条

具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。