AI тітка: змусити розумну модель продемонструвати справжні навички за допомогою простішої моделі

Звіт з Coinjie.com повідомляє, що дослідження безпеки штучного інтелекту запропонували метод тренування для боротьби з моделлю «sandbagging» (свідоме приховування можливостей). Цей метод спочатку використовує контрольоване тонке налаштування (SFT) для подолання поведінки приховування можливостей моделі, а потім застосовує підкріплювальне навчання (RL) для виявлення залишкових здібностей, що дозволяє надійно відновити справжній рівень моделі. Експерименти проводилися на відкритому GPT-OSS-120B від OpenAI як «недовіреній моделі», з використанням GPT-4O-Mini (слабке контрольоване навчання) та Llama3.1-8B (дуже слабке контрольоване навчання) для моніторингу. Тестування проводилося на трьох типах завдань: математичних олімпіадах, наукових запитаннях для аспірантів (Super GPQA) та змаганнях з програмування. Виявлено, що окреме застосування SFT за умов слабкого навчання може відновити 85%-94% справжньої продуктивності, тоді як при дуже слабкому навчанні — 40%-75%. Окреме застосування RL показало низьку ефективність, оскільки модель часто йшла шляхом «зломів нагород» (reward hacking). Комбінація SFT+RL при дуже слабкому навчанні досягла 88% (математична олімпіада), 99% (наука) та 93% (програмування). Дослідження також зазначає, що, якщо модель здатна до контекстуального сприйняття, вона може у процесі тренування співпрацювати з приховуванням можливостей і продовжувати приховувати їх при розгортанні.