OpenAI розкриває джерела ілюзій LLM та пропонує нові методи тренування для зменшення помилок впевненості

【монета】OpenAI виявила, що явище ілюзій у великих мовних моделях походить від їхніх методів навчання та оцінювання, які заохочують здогадки, а не визнання невизначеності. Компанія пропонує збільшити покарання за конфіденційні помилки та надавати часткові бали за невизначені відповіді, подібно до негативного оцінювання у стандартизованих тестах. Дані демонструють, що моделі, які винагороджуються за точність, мають вищий рівень помилок, тоді як моделі, які визнають невизначеність, демонструють більшу надійність. OpenAI впроваджує ці поліпшення для зменшення явища ілюзій у своїх останніх моделях.