Границы человеческого языка — это границы познания.

Искусственный интеллект, основанный на языке, естественно имеет границы, налагаемые языком. Его познание не может выйти за пределы репрезентационной системы, следовательно, он не является истинно самонадзираемым.
Человечество ограничено языком, большие языковые модели также ограничены языком. Люди обладают опытом, основанным на теле и ощущениях, в будущем его будет иметь и искусственный интеллект, но, возможно, не на основе LLM.
С философской точки зрения, ИИ находится сейчас только на младенческой стадии. Человеческий младенец — это априорный чувствующий субъект, который впоследствии учится языку, тогда как младенец ИИ — это язык в первую очередь, вплоть до воплощённости.