Эра AI-браузеров наступает: возможности и вызовы третьей войны браузеров
Третья война браузеров тихо разворачивается. С 90-х годов с Netscape и Microsoft IE, до духа открытого кода Firefox и Chrome от Google, борьба браузеров всегда была ярким проявлением контроля над платформой и изменения технологических парадигм. Chrome завоевал господствующее положение благодаря скорости обновления и взаимодействию экосистемы, в то время как Google сформировала замкнутый цикл входа в информацию через структуру "двух олигархов" с поиском и браузером.
Но сегодня эта структура начинает колебаться. Рост крупных языковых моделей (LLM) приводит к тому, что все больше пользователей выполняют задачи на страницах результатов поиска "без кликов", традиционное поведение кликов на веб-страницах уменьшается. В то же время слухи о том, что Apple может заменить поисковую систему по умолчанию в Safari, дополнительно угрожают прибыли Alphabet, и рынок уже начинает проявлять беспокойство по поводу "ортодоксального поиска".
Браузер сам по себе также сталкивается с переосмыслением своей роли. Он уже не просто инструмент для отображения веб-страниц, а представляет собой контейнер, объединяющий различные возможности, такие как ввод данных, поведение пользователей и конфиденциальность личности. Хотя AI Agent силен, для выполнения сложных взаимодействий на страницах, вызова локальных данных о личности и управления элементами веб-страниц все равно требуется использовать доверительные границы и функциональные песочницы браузера. Браузер превращается из интерфейса человека в платформу системных вызовов для агента.
На самом деле, что может действительно изменить текущую рыночную ситуацию браузеров, так это не другой "лучший Chrome", а новая структура взаимодействия: это не показ информации, а вызов задач. Будущие браузеры должны быть разработаны для AI-агентов - они должны не только читать, но и писать и выполнять. Проекты, такие как Browser Use, пытаются семантизировать структуру страницы, превращая визуальный интерфейс в структурированный текст, который может быть вызван LLM, что значительно снижает затраты на взаимодействие.
На рынке основные проекты уже начали тестировать: Perplexity создает нативный браузер Comet, используя ИИ вместо традиционных поисковых результатов; Brave сочетает защиту конфиденциальности и локальное рассуждение, усиливая функции поиска и блокировки с помощью LLM; в то время как такие крипто-проекты, как Donut, нацелены на новые входные точки для взаимодействия ИИ и цепочечных активов. Общая черта этих проектов заключается в том, что они пытаются реконструировать входную часть браузера, а не улучшать его выходной уровень.
Для предпринимателей возможности скрыты в треугольных отношениях ввода, структуры и агентов. Браузер как интерфейс для вызова мира будущих агентов означает, что тот, кто сможет предоставить структурированные, вызываемые и доверительные "блоки возможностей", сможет стать частью нового поколения платформ. От SEO до AEO(Agent Engine Optimization), от трафика страниц до вызовов цепочек задач, форма продукта и дизайнерское мышление находятся в процессе реконструкции. Третья война браузеров происходит в "вводе", а не в "выводе"; определяющим фактором победы становится не тот, кто привлечет внимание пользователей, а тот, кто завоюет доверие агентов и получит доступ к вызову.
Краткая история развития браузеров
В начале 90-х годов, когда интернет еще не стал частью повседневной жизни, Netscape Navigator появился на свет, как корабль, открывающий новые земли, открыв для миллионов пользователей двери в цифровой мир. Этот браузер не был первым, но он стал первым по-настоящему массовым продуктом, формирующим интернет-опыт. В то время люди впервые могли так легко просматривать веб-страницы через графический интерфейс, как будто весь мир внезапно стал осязаемым.
Тем не менее, величие часто бывает кратковременным. Microsoft быстро осознала важность браузера и решила принудительно включить Internet Explorer в операционную систему Windows, сделав его браузером по умолчанию. Эта стратегия стала "убийственным оружием платформы", которое напрямую разрушило рыночное господство Netscape. Многие пользователи не выбирали IE по своей воле, а принимали его, поскольку он был установлен по умолчанию в системе. IE с помощью возможностей распространения Windows быстро стал лидером отрасли, в то время как Netscape погрузился в упадок.
В условиях кризиса инженеры Netscape выбрали радикальный и идеалистический путь - они открыли исходный код браузера и призвали сообщество к открытым технологиям. Это решение, казалось, было своего рода «македонским отступлением» в техническом мире, предвещая конец старой эпохи и восход новой силы. Этот код позже стал основой проекта браузера Mozilla, изначально названного Phoenix(, что означает «возрождение феникса»), но из-за проблем с товарным знаком несколько раз менял название, в конечном итоге получив название Firefox.
Firefox не является простым клоном Netscape, он достиг множества прорывов в пользовательском опыте, экосистеме плагинов, безопасности и других аспектах. Его появление ознаменовало победу духа открытого кода и вдохнуло новую жизнь в целую отрасль. Некоторые описывают Firefox как "духовного наследника" Netscape, как будто Османская империя унаследовала последние лучи Византии. Это сравнение хотя и преувеличенно, но весьма выразительно.
Но за несколько лет до официального выпуска Firefox Microsoft уже выпустила шесть версий IE, благодаря преимуществу времени и стратегии пакетного размещения системы, что изначально поставило Firefox в положение догоняющего, предопределив, что эта гонка не является честным соревнованием с равными стартовыми условиями.
Тем временем, еще один ранний игрок незаметно появляется на сцене. В 1994 году появился браузер Opera, который родом из Норвегии и изначально был экспериментальным проектом. Но начиная с версии 7.0 в 2003 году, он внедрил собственный движок Presto, первым поддержав CSS, адаптивную верстку, голосовое управление и кодировку Unicode, а также другие передовые технологии. Хотя количество пользователей было ограничено, технология всегда оставалась на переднем крае отрасли, став "любимцем гиков".
В том же году Apple выпустила браузер Safari. Это был знаковый поворот. В то время Microsoft вложила 150 миллионов долларов в почти обанкротившуюся Apple, чтобы поддерживать видимость конкуренции и избежать антимонопольного расследования. Хотя Safari с момента своего создания использует Google в качестве поисковой системы по умолчанию, эта история с Microsoft символизирует сложные и тонкие отношения между интернет-гигантами: сотрудничество и конкуренция всегда идут рука об руку.
В 2007 году IE7 был представлен вместе с Windows Vista, но отклики на рынке были посредственными. Напротив, Firefox благодаря более быстрому темпу обновлений, более дружелюбной механике расширений и естественной привлекательности для разработчиков постепенно увеличил свою долю рынка до примерно 20%. Господство IE постепенно ослабляется, ветер перемен уже дует.
Google - это другой подход. Хотя с 2001 года компания начала разрабатывать свой собственный браузер, ей потребовалось шесть лет, чтобы убедить генерального директора Эрика Шмидта одобрить этот проект. Chrome появился в 2008 году, созданный на основе открытого проекта Chromium и движка WebKit, используемого в Safari. Его прозвали "громоздким" браузером, но благодаря глубоким навыкам Google в области размещения рекламы и создания бренда, он быстро стал популярным.
Ключевое оружие Chrome не в функциональности, а в частоте обновлений версий ( каждые шесть недель ) с унифицированным опытом на всех платформах. В ноябре 2011 года Chrome впервые обогнал Firefox, достигнув доли рынка в 27%; через шесть месяцев он снова обошел IE, завершив переход от претендента к доминирующей силе.
В то же время мобильный интернет в Китае также формирует свою экосистему. Один браузер быстро стал популярным в начале 2010-х годов, особенно на новых рынках, таких как Индия, Индонезия и Китай, благодаря легкому дизайну, сжатию данных для экономии трафика и другим особенностям, что привлекло пользователей с недорогими устройствами. В 2015 году его доля на глобальном рынке мобильных браузеров преодолела 17%, в Индии она достигала 46%. Однако эта победа не была долговечной. С усилением правительством Индии проверки безопасности китайских приложений этот браузер был вынужден покинуть ключевой рынок и постепенно потерял былую славу.
С началом 2020-х годов доминирование Chrome уже установлено, доля на мировом рынке стабилизировалась на уровне около 65%. Стоит отметить, что хотя поисковая система Google и браузер Chrome принадлежат Alphabet, с рыночной точки зрения это две независимые гегемонистские системы - первая контролирует около 90% глобальных поисковых входов, в то время как вторая управляет большинством пользователей, входящих в сеть через "первое окно".
Чтобы сохранить эту двойную монопольную структуру, Google не жалеет денег на инвестиции. В 2022 году Alphabet заплатила Apple около 20 миллиардов долларов, лишь бы Google оставался по умолчанию в качестве поисковой системы в Safari. Аналитики указывают, что эти расходы составляют 36% от доходов Google от поисковой рекламы, получаемых от трафика Safari. Иными словами, Google платит "плату за защиту" для своего рва.
Но ветер снова изменился. С ростом крупных языковых моделей (LLM) традиционный поиск начал испытывать давление. В 2024 году доля рынка поиска Google упала с 93% до 89%, хотя он все еще доминирует, но трещины уже начали появляться. Более разрушительными являются слухи о том, что Apple может запустить собственную поисковую систему на базе ИИ - если Safari изменит настройки по умолчанию и начнет использовать собственные решения, это не только изменит экосистему, но и может подорвать прибыль Alphabet. Рынок отреагировал быстро, акции Alphabet упали с 170 долларов до 140 долларов, отражая не только панику инвесторов, но и глубокую тревогу по поводу будущего эпохи поиска.
От Navigator до Chrome, от идеалов открытого исходного кода до коммерциализации рекламы, от легковесных браузеров до AI-поисковых помощников, борьба браузеров всегда была войной технологий, платформ, контента и контроля. Поле боя постоянно меняется, но суть никогда не менялась: кто контролирует вход, тот определяет будущее.
Устаревшая архитектура современных браузеров
Когда речь идет о архитектуре браузера, классическая традиционная архитектура выглядит следующим образом:
Клиент - Вход на фронтенд
Запросите ближайший Google Front End через HTTPS, завершите TLS-расшифровку, выборку QoS и географическую маршрутизацию. Если обнаружен аномальный трафик (DDoS, автоматический захват ) может быть ограничен или вызван для проверки на этом уровне.
Понимание запроса
Фронтенду необходимо понять значение слов, вводимых пользователем, что состоит из трех этапов: нейронная проверка правописания, исправление "recpie" на "recipe"; расширение синонимов, расширение "how to fix bike" на "repair bicycle". Анализ намерений, определение, является ли запрос информационным, навигационным или торговым намерением, и распределение запросов по вертикалям.
Кандидат на отзыв
Технология запроса, используемая Google, называется: обратный индекс. В прямом индексе мы можем индексировать файл, просто зная его идентификатор. Однако пользователи не могут знать номер содержания, которое они хотят, среди сотен миллиардов файлов, поэтому используется традиционный обратный индекс, который позволяет находить, какие файлы содержат соответствующие ключевые слова. Затем Google использует векторный индекс для обработки семантического поиска, то есть для поиска содержимого, схожего по значению с запросом. Он преобразует текст, изображения и другие данные в высокоразмерные векторы (embedding) и осуществляет поиск на основе схожести между этими векторами. Например, даже если пользователь ищет "как приготовить тесто для пиццы", поисковая система может вернуть результаты, связанные с "руководством по приготовлению теста для пиццы", потому что они семантически схожи. Пройдя через обратный индекс и векторный индекс, примерно сто тысяч веб-страниц будут предварительно отобраны.
Многоуровневая сортировка
Системы обычно отбирают десятки тысяч кандидатов на основе тысяч легких признаков, таких как BM25, TF-IDF, качество страниц и т.д., сокращая их до примерно 1000, что формирует первоначальный набор кандидатов. Такие системы обычно называют рекомендательными системами. Они полагаются на обилие характеристик, сгенерированных множеством сущностей, включая поведение пользователей, атрибуты страниц, намерение запроса и контекстные сигналы. Например, Google учитывает историю пользователей, отзывы других пользователей, семантику страниц, значения запросов и другую информацию, а также контекстные факторы, такие как время ( в течение дня, конкретные дни недели ) и внешние события, такие как актуальные новости.
Глубокое обучение для основной сортировки
На начальной стадии поиска Google использует такие технологии, как RankBrain и Neural Matching, чтобы понять семантику запросов и отобрать предварительно релевантные результаты из огромного количества документов. RankBrain — это система машинного обучения, внедренная Google в 2015 году, которая направлена на лучшее понимание значения пользовательских запросов, особенно тех, которые появляются в первый раз. Она преобразует запросы и документы в векторное представление и вычисляет их сходство, чтобы найти наиболее релевантные результаты. Например, для запроса "как сделать тесто для пиццы", даже если в документе нет полностью совпадающих ключевых слов, RankBrain может распознать контент, связанный с "основой для пиццы" или "приготовлением теста".
Neural Matching — это другая технология, представленная Google в 2018 году, предназначенная для более глубокого понимания семантических отношений между запросами и документами. Она использует модели нейронных сетей для улавливания нечетких отношений между словами, что помогает Google лучше сопоставлять запросы и содержимое веб-страниц. Например, для запроса "почему мой ноутбук шумит" Neural Matching может понять, что пользователь, возможно, ищет информацию по устранению неполадок, связанным с перегревом, накоплением пыли или высокой загрузкой ЦП, даже если эти слова прямо не присутствуют в запросе.
Глубокая переработка: Применение модели BERT
После предварительной фильтрации соответствующих документов Google использует модель BERT(Bidirectional Encoder Representations from Transformers) для обработки этих документов.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Искусственный интеллект в перепроектировании браузеров: возможности и вызовы третьей браузерной войны
Эра AI-браузеров наступает: возможности и вызовы третьей войны браузеров
Третья война браузеров тихо разворачивается. С 90-х годов с Netscape и Microsoft IE, до духа открытого кода Firefox и Chrome от Google, борьба браузеров всегда была ярким проявлением контроля над платформой и изменения технологических парадигм. Chrome завоевал господствующее положение благодаря скорости обновления и взаимодействию экосистемы, в то время как Google сформировала замкнутый цикл входа в информацию через структуру "двух олигархов" с поиском и браузером.
Но сегодня эта структура начинает колебаться. Рост крупных языковых моделей (LLM) приводит к тому, что все больше пользователей выполняют задачи на страницах результатов поиска "без кликов", традиционное поведение кликов на веб-страницах уменьшается. В то же время слухи о том, что Apple может заменить поисковую систему по умолчанию в Safari, дополнительно угрожают прибыли Alphabet, и рынок уже начинает проявлять беспокойство по поводу "ортодоксального поиска".
Браузер сам по себе также сталкивается с переосмыслением своей роли. Он уже не просто инструмент для отображения веб-страниц, а представляет собой контейнер, объединяющий различные возможности, такие как ввод данных, поведение пользователей и конфиденциальность личности. Хотя AI Agent силен, для выполнения сложных взаимодействий на страницах, вызова локальных данных о личности и управления элементами веб-страниц все равно требуется использовать доверительные границы и функциональные песочницы браузера. Браузер превращается из интерфейса человека в платформу системных вызовов для агента.
На самом деле, что может действительно изменить текущую рыночную ситуацию браузеров, так это не другой "лучший Chrome", а новая структура взаимодействия: это не показ информации, а вызов задач. Будущие браузеры должны быть разработаны для AI-агентов - они должны не только читать, но и писать и выполнять. Проекты, такие как Browser Use, пытаются семантизировать структуру страницы, превращая визуальный интерфейс в структурированный текст, который может быть вызван LLM, что значительно снижает затраты на взаимодействие.
На рынке основные проекты уже начали тестировать: Perplexity создает нативный браузер Comet, используя ИИ вместо традиционных поисковых результатов; Brave сочетает защиту конфиденциальности и локальное рассуждение, усиливая функции поиска и блокировки с помощью LLM; в то время как такие крипто-проекты, как Donut, нацелены на новые входные точки для взаимодействия ИИ и цепочечных активов. Общая черта этих проектов заключается в том, что они пытаются реконструировать входную часть браузера, а не улучшать его выходной уровень.
Для предпринимателей возможности скрыты в треугольных отношениях ввода, структуры и агентов. Браузер как интерфейс для вызова мира будущих агентов означает, что тот, кто сможет предоставить структурированные, вызываемые и доверительные "блоки возможностей", сможет стать частью нового поколения платформ. От SEO до AEO(Agent Engine Optimization), от трафика страниц до вызовов цепочек задач, форма продукта и дизайнерское мышление находятся в процессе реконструкции. Третья война браузеров происходит в "вводе", а не в "выводе"; определяющим фактором победы становится не тот, кто привлечет внимание пользователей, а тот, кто завоюет доверие агентов и получит доступ к вызову.
Краткая история развития браузеров
В начале 90-х годов, когда интернет еще не стал частью повседневной жизни, Netscape Navigator появился на свет, как корабль, открывающий новые земли, открыв для миллионов пользователей двери в цифровой мир. Этот браузер не был первым, но он стал первым по-настоящему массовым продуктом, формирующим интернет-опыт. В то время люди впервые могли так легко просматривать веб-страницы через графический интерфейс, как будто весь мир внезапно стал осязаемым.
Тем не менее, величие часто бывает кратковременным. Microsoft быстро осознала важность браузера и решила принудительно включить Internet Explorer в операционную систему Windows, сделав его браузером по умолчанию. Эта стратегия стала "убийственным оружием платформы", которое напрямую разрушило рыночное господство Netscape. Многие пользователи не выбирали IE по своей воле, а принимали его, поскольку он был установлен по умолчанию в системе. IE с помощью возможностей распространения Windows быстро стал лидером отрасли, в то время как Netscape погрузился в упадок.
В условиях кризиса инженеры Netscape выбрали радикальный и идеалистический путь - они открыли исходный код браузера и призвали сообщество к открытым технологиям. Это решение, казалось, было своего рода «македонским отступлением» в техническом мире, предвещая конец старой эпохи и восход новой силы. Этот код позже стал основой проекта браузера Mozilla, изначально названного Phoenix(, что означает «возрождение феникса»), но из-за проблем с товарным знаком несколько раз менял название, в конечном итоге получив название Firefox.
Firefox не является простым клоном Netscape, он достиг множества прорывов в пользовательском опыте, экосистеме плагинов, безопасности и других аспектах. Его появление ознаменовало победу духа открытого кода и вдохнуло новую жизнь в целую отрасль. Некоторые описывают Firefox как "духовного наследника" Netscape, как будто Османская империя унаследовала последние лучи Византии. Это сравнение хотя и преувеличенно, но весьма выразительно.
Но за несколько лет до официального выпуска Firefox Microsoft уже выпустила шесть версий IE, благодаря преимуществу времени и стратегии пакетного размещения системы, что изначально поставило Firefox в положение догоняющего, предопределив, что эта гонка не является честным соревнованием с равными стартовыми условиями.
Тем временем, еще один ранний игрок незаметно появляется на сцене. В 1994 году появился браузер Opera, который родом из Норвегии и изначально был экспериментальным проектом. Но начиная с версии 7.0 в 2003 году, он внедрил собственный движок Presto, первым поддержав CSS, адаптивную верстку, голосовое управление и кодировку Unicode, а также другие передовые технологии. Хотя количество пользователей было ограничено, технология всегда оставалась на переднем крае отрасли, став "любимцем гиков".
В том же году Apple выпустила браузер Safari. Это был знаковый поворот. В то время Microsoft вложила 150 миллионов долларов в почти обанкротившуюся Apple, чтобы поддерживать видимость конкуренции и избежать антимонопольного расследования. Хотя Safari с момента своего создания использует Google в качестве поисковой системы по умолчанию, эта история с Microsoft символизирует сложные и тонкие отношения между интернет-гигантами: сотрудничество и конкуренция всегда идут рука об руку.
В 2007 году IE7 был представлен вместе с Windows Vista, но отклики на рынке были посредственными. Напротив, Firefox благодаря более быстрому темпу обновлений, более дружелюбной механике расширений и естественной привлекательности для разработчиков постепенно увеличил свою долю рынка до примерно 20%. Господство IE постепенно ослабляется, ветер перемен уже дует.
Google - это другой подход. Хотя с 2001 года компания начала разрабатывать свой собственный браузер, ей потребовалось шесть лет, чтобы убедить генерального директора Эрика Шмидта одобрить этот проект. Chrome появился в 2008 году, созданный на основе открытого проекта Chromium и движка WebKit, используемого в Safari. Его прозвали "громоздким" браузером, но благодаря глубоким навыкам Google в области размещения рекламы и создания бренда, он быстро стал популярным.
Ключевое оружие Chrome не в функциональности, а в частоте обновлений версий ( каждые шесть недель ) с унифицированным опытом на всех платформах. В ноябре 2011 года Chrome впервые обогнал Firefox, достигнув доли рынка в 27%; через шесть месяцев он снова обошел IE, завершив переход от претендента к доминирующей силе.
В то же время мобильный интернет в Китае также формирует свою экосистему. Один браузер быстро стал популярным в начале 2010-х годов, особенно на новых рынках, таких как Индия, Индонезия и Китай, благодаря легкому дизайну, сжатию данных для экономии трафика и другим особенностям, что привлекло пользователей с недорогими устройствами. В 2015 году его доля на глобальном рынке мобильных браузеров преодолела 17%, в Индии она достигала 46%. Однако эта победа не была долговечной. С усилением правительством Индии проверки безопасности китайских приложений этот браузер был вынужден покинуть ключевой рынок и постепенно потерял былую славу.
С началом 2020-х годов доминирование Chrome уже установлено, доля на мировом рынке стабилизировалась на уровне около 65%. Стоит отметить, что хотя поисковая система Google и браузер Chrome принадлежат Alphabet, с рыночной точки зрения это две независимые гегемонистские системы - первая контролирует около 90% глобальных поисковых входов, в то время как вторая управляет большинством пользователей, входящих в сеть через "первое окно".
Чтобы сохранить эту двойную монопольную структуру, Google не жалеет денег на инвестиции. В 2022 году Alphabet заплатила Apple около 20 миллиардов долларов, лишь бы Google оставался по умолчанию в качестве поисковой системы в Safari. Аналитики указывают, что эти расходы составляют 36% от доходов Google от поисковой рекламы, получаемых от трафика Safari. Иными словами, Google платит "плату за защиту" для своего рва.
Но ветер снова изменился. С ростом крупных языковых моделей (LLM) традиционный поиск начал испытывать давление. В 2024 году доля рынка поиска Google упала с 93% до 89%, хотя он все еще доминирует, но трещины уже начали появляться. Более разрушительными являются слухи о том, что Apple может запустить собственную поисковую систему на базе ИИ - если Safari изменит настройки по умолчанию и начнет использовать собственные решения, это не только изменит экосистему, но и может подорвать прибыль Alphabet. Рынок отреагировал быстро, акции Alphabet упали с 170 долларов до 140 долларов, отражая не только панику инвесторов, но и глубокую тревогу по поводу будущего эпохи поиска.
От Navigator до Chrome, от идеалов открытого исходного кода до коммерциализации рекламы, от легковесных браузеров до AI-поисковых помощников, борьба браузеров всегда была войной технологий, платформ, контента и контроля. Поле боя постоянно меняется, но суть никогда не менялась: кто контролирует вход, тот определяет будущее.
Устаревшая архитектура современных браузеров
Когда речь идет о архитектуре браузера, классическая традиционная архитектура выглядит следующим образом:
Клиент - Вход на фронтенд
Запросите ближайший Google Front End через HTTPS, завершите TLS-расшифровку, выборку QoS и географическую маршрутизацию. Если обнаружен аномальный трафик (DDoS, автоматический захват ) может быть ограничен или вызван для проверки на этом уровне.
Понимание запроса
Фронтенду необходимо понять значение слов, вводимых пользователем, что состоит из трех этапов: нейронная проверка правописания, исправление "recpie" на "recipe"; расширение синонимов, расширение "how to fix bike" на "repair bicycle". Анализ намерений, определение, является ли запрос информационным, навигационным или торговым намерением, и распределение запросов по вертикалям.
Кандидат на отзыв
Технология запроса, используемая Google, называется: обратный индекс. В прямом индексе мы можем индексировать файл, просто зная его идентификатор. Однако пользователи не могут знать номер содержания, которое они хотят, среди сотен миллиардов файлов, поэтому используется традиционный обратный индекс, который позволяет находить, какие файлы содержат соответствующие ключевые слова. Затем Google использует векторный индекс для обработки семантического поиска, то есть для поиска содержимого, схожего по значению с запросом. Он преобразует текст, изображения и другие данные в высокоразмерные векторы (embedding) и осуществляет поиск на основе схожести между этими векторами. Например, даже если пользователь ищет "как приготовить тесто для пиццы", поисковая система может вернуть результаты, связанные с "руководством по приготовлению теста для пиццы", потому что они семантически схожи. Пройдя через обратный индекс и векторный индекс, примерно сто тысяч веб-страниц будут предварительно отобраны.
Многоуровневая сортировка
Системы обычно отбирают десятки тысяч кандидатов на основе тысяч легких признаков, таких как BM25, TF-IDF, качество страниц и т.д., сокращая их до примерно 1000, что формирует первоначальный набор кандидатов. Такие системы обычно называют рекомендательными системами. Они полагаются на обилие характеристик, сгенерированных множеством сущностей, включая поведение пользователей, атрибуты страниц, намерение запроса и контекстные сигналы. Например, Google учитывает историю пользователей, отзывы других пользователей, семантику страниц, значения запросов и другую информацию, а также контекстные факторы, такие как время ( в течение дня, конкретные дни недели ) и внешние события, такие как актуальные новости.
Глубокое обучение для основной сортировки
На начальной стадии поиска Google использует такие технологии, как RankBrain и Neural Matching, чтобы понять семантику запросов и отобрать предварительно релевантные результаты из огромного количества документов. RankBrain — это система машинного обучения, внедренная Google в 2015 году, которая направлена на лучшее понимание значения пользовательских запросов, особенно тех, которые появляются в первый раз. Она преобразует запросы и документы в векторное представление и вычисляет их сходство, чтобы найти наиболее релевантные результаты. Например, для запроса "как сделать тесто для пиццы", даже если в документе нет полностью совпадающих ключевых слов, RankBrain может распознать контент, связанный с "основой для пиццы" или "приготовлением теста".
Neural Matching — это другая технология, представленная Google в 2018 году, предназначенная для более глубокого понимания семантических отношений между запросами и документами. Она использует модели нейронных сетей для улавливания нечетких отношений между словами, что помогает Google лучше сопоставлять запросы и содержимое веб-страниц. Например, для запроса "почему мой ноутбук шумит" Neural Matching может понять, что пользователь, возможно, ищет информацию по устранению неполадок, связанным с перегревом, накоплением пыли или высокой загрузкой ЦП, даже если эти слова прямо не присутствуют в запросе.
Глубокая переработка: Применение модели BERT
После предварительной фильтрации соответствующих документов Google использует модель BERT(Bidirectional Encoder Representations from Transformers) для обработки этих документов.