acho que eles estão pelo menos treinados em sequências bastante longas com ações intercaladas onde o contexto permanece bastante estável. mesmo apenas dentro de uma única cadeia de raciocínio - se suas suposições mudam, o que muitas vezes acontece, é útil reinterpretar coisas anteriores à luz disso.