Pas de bail, peuvent il garder la caution?

Bonjour, rnrnVoilà j'expose mon problème:rnrnMoi et mon amie louons un appartement depuis maintenant un an, le propriétaire(que je connais bien) nous avait demandé un moi de caution à l'entrée, somme que nous avons versée.rnrnNous n'avons jamais fait d'état des lieux ni signé de bail avant la location.rnrnCe qu'il se passe c'est que nous avons trouvé, il y a peu de temps, un appartement qui nous plait beaucoup.rnJ'ai donc annoncé aujourd'hui au propriétaire que nous allions quitter le logement dans 15 jours(j'avais déjà prévenu il y a une semaine que j'attendait une réponse pour l'autre appartement).rnNous sommes bien conscient que le délai est beaucoup trop court et pour cette raison celui-ci veut nous faire payer le loyer du mois prochain sachant que nous y serons plus.rnrnJe voudrais savoir si il a le droit de nous faire régler ce loyer ou alors de garder la caution sachant que nous n'avons jamais signé de bail.rnrnMerci d'avance de votre attention.