Según un informe de Pinwan del 5 de septiembre, Nous Research se asoció con investigadores del Laboratorio EleutherAI y la Universidad de Ginebra en Suiza para publicar un artículo y anunciar un método llamado YaRN que puede ampliar la ventana contextual de modelos grandes. El artículo muestra que YaRN requiere menos pasos de etiquetado y capacitación que los métodos tradicionales. Al utilizar este enfoque, los modelos LLaMA pueden aprovechar y extrapolar de manera eficiente a contextos más largos de lo que permitía su entrenamiento previo original, al tiempo que superan el estado del arte de las extensiones de ventana anteriores. Según la página de GitHub, las ventanas de contexto de LLaMA 2 7B/13B ajustadas con YaRN pueden alcanzar 64k y 128k respectivamente.