依据《担保法》的规定，定金是当事人双方为了保证债务的履行，约定由当事人一方先行支付给对方一定数额的货币作为担保，定金的数额由当事人约定，但不得超过主合同标的额的20%。定金合同应当采用书面形式，并在合同中约定交付定金的期限，定金合同从实际交付定金之日起生效。债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定债务的，无权要求返还定金;收受定金的一方不履行约定债务的，应当双倍返还定金。

由此我们可以知道，定金实际上是一种担保方式，如果是给付定金的一方不履行义务，另一方有权不退回定金。

如果是收受定金一方不履行义务，应该双倍退还定金。如果存在拒不退还定金的情况，可以选择向被告一方住所地人民法院提起民事诉讼。

法律依据：

《中华人民共和国担保法》 八十九条

当事人可以约定一方向对方给付定金作为债权的担保。债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定的债务的，无权要求返还定金;收受定金的一方不履行约定的债务的，应当双倍返还定金。