法律解析：

如果要求女方退还彩礼但没有证据，会面临一定的困难，但仍可尝试通过其他途径和方法来争取。

在要求女方退还彩礼却没有直接证据的情况下，确实会给维权带来挑战。并非完全没有办法可想。可以从双方交往的过程中寻找间接证据。比如，双方在沟通彩礼问题时的聊天记录、短信、电子邮件等，可能会提及彩礼的相关内容。回忆是否有第三方知晓彩礼的情况，如双方的亲戚、朋友等，他们的证言也可能起到一定作用。如果是通过银行转账等方式支付彩礼的，相关的转账记录也可以作为证据。

同时，也可以考虑从女方的行为和态度入手。如果女方在分手后对彩礼问题的回应或处理方式存在不合理之处，也可以作为一种佐证。还可以尝试与女方进行协商沟通，在过程中引导女方承认彩礼的事实，并做好相应记录。

在法律上，对于彩礼退还的认定会综合考虑多种因素，而不仅仅依赖于直接证据。例如，双方是否办理登记、共同生活的时间长短、是否导致男方生活困难等。如果这些情况对男方有利，也能增加要求退还彩礼的可能性。

总之，尽管没有证据会比较棘手，但通过多种途径和方法的努力，还是有可能争取到退还彩礼的。在这个过程中，要保持冷静和理智，依法依规地进行处理。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。