OpenAI révèle les origines des hallucinations des LLM et propose une nouvelle méthode d'entraînement pour réduire les erreurs de confiance.

【jeton界】OpenAI a découvert que le phénomène d'illusion dans les grands modèles de langage provient de leurs méthodes d'entraînement et d'évaluation, qui encouragent la conjecture plutôt que la reconnaissance de l'incertitude. L'entreprise suggère d'augmenter la pénalité pour les erreurs de confiance (confidential error) et d'attribuer des points partiels pour les réponses incertaines, similaire à la notation négative des tests standardisés. Les données montrent que les modèles récompensés pour leur précision ont un taux d'erreur plus élevé, tandis que les modèles reconnaissant l'incertitude se comportent de manière plus fiable. OpenAI met en œuvre ces améliorations pour réduire le phénomène d'illusion dans ses derniers modèles.