彩礼的退还时间限制是自当事人知道或者应当知道权利受到侵害之日起三年内。根据《中华人民共和国民法典》第一百八十八条的规定，民事权利的诉讼时效期间为三年。
具体到彩礼的退还情况，如果双方已经结婚并共同生活，原则上彩礼的目的已实现，无需退还。但如果彩礼数额较大，婚姻持续时间短暂，且男方无显著过错，可以视情况适当退还。
如果双方未共同生活，或者存在其他符合法定退还彩礼的情形，根据《民法典》第一千零四十二条的规定，禁止借婚姻索取财物，则原则上应退还彩礼。
如果双方协商一致，也可以随时退还彩礼。如果协商不成，需要通过诉讼方式要求退还彩礼，则适用上述的三年诉讼时效。
需要注意的是，如果法院已经作出了判决要求退还彩礼，通常应在六个月内执行。
以上信息基于最新的法律法规，具体案件可能因情况而异，建议咨询专业律师获取具体指导