法律解析：

通常情况下，需要根据具体情况来确定责任方。可能是快递公司、寄件人或收件人等。

当拒收快递退回后发生损坏时，责任的界定可能较为复杂，以下是一些常见情况的分析。

如果快递在退回过程中是由于快递公司的不当操作或疏忽导致损坏，那么快递公司应承担主要责任。例如，快递员在运输、装卸过程中野蛮操作，致使包裹受损。

寄件人也可能需要承担一定责任。比如寄件人在包装物品时没有妥善包装，导致在运输过程中容易损坏，即使是正常运输也可能出现问题。

如果收件人在拒收时有不当行为，比如故意损坏包裹或没有按照正常流程进行拒收操作，从而导致后续损坏，那么收件人可能要承担相应责任。

为了明确责任，以下几点很重要：一是在拒收时，收件人应确保与快递员当面交接清楚，并说明拒收原因。二是快递公司应做好记录和标记，以便追溯。三是如果可能，收件人可以拍照或录像留存证据，证明包裹在拒收时的状态。

在实际处理中，如果各方对责任存在争议，可以通过协商解决。若协商不成，可向相关部门投诉或通过法律途径解决。消费者要注意保留相关证据，如快递单号、拒收凭证、包裹照片等，这对于确定责任和维护自身权益非常关键。

法律依据：

《邮政法》第四十七条

邮政企业对给据邮件的损失依照下列规定赔偿：

（一）保价的给据邮件丢失或者全部损毁的，按照保价额赔偿；部分损毁或者内件短少的，按照保价额与邮件全部价值的比例对邮件的实际损失予以赔偿。

（二）未保价的给据邮件丢失、损毁或者内件短少的，按照实际损失赔偿，但最高赔偿额不超过所收取资费的三倍；挂号信件丢失、损毁的，按照所收取资费的三倍予以赔偿。

邮政企业应当在营业场所的告示中和提供给用户的给据邮件单据上，以足以引起用户注意的方式载明前款规定。

邮政企业因故意或者重大过失造成给据邮件损失，或者未履行前款规定义务的，无权援用本条第一款的规定限制赔偿责任。