Настав час AI-браузерів: можливості та виклики третьої війни браузерів
Третя війна браузерів тихо розгортається. Від Netscape та Internet Explorer від Microsoft у 90-х роках до Firefox з відкритим кодом та Chrome від Google, боротьба між браузерами завжди була концентрованим вираженням контролю платформи та зміни технологічних парадигм. Chrome здобув панівну позицію завдяки швидкості оновлень та екологічній інтеграції, а Google створив замкнене коло інформаційного входу через "подвійну олігополію" пошуку та браузера.
Але сьогодні ця структура починає поступатися. Поява великих мовних моделей (LLM) призводить до того, що дедалі більше користувачів виконують завдання на сторінках результатів пошуку з "нульовими кліками", що зменшує традиційну поведінку кліку на веб-сторінки. Водночас чутки про те, що Apple може замінити пошукову систему за замовчуванням у Safari, ще більше загрожують прибутковій основі Alphabet, і ринок починає виявляти нестійкість щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням своїх ролей. Він більше не лише інструмент для відображення веб-сторінок, а й контейнер для збору різних можливостей, таких як введення даних, поведінка користувачів, приватність та ідентичність. Хоча AI Agent і потужний, для виконання складної взаємодії на сторінці, виклику локальних даних про ідентичність, контролю елементів веб-сторінки, все ще потрібна підтримка довірчої межі та функціональної пісочниці браузера. Браузер перетворюється з людського інтерфейсу на платформу системних викликів для агентів.
Справжнім потенційним розривом у нинішній структурі ринку браузерів буде не ще один "кращий Chrome", а нова структура взаємодії: не просто відображення інформації, а виклик завдань. У майбутньому браузери повинні бути спроектовані для AI Agent - не лише читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінок, перетворюючи візуальний інтерфейс у структурований текст, доступний для виклику LLM, що значно знижує витрати на взаємодію.
Основні проекти на ринку вже почали експериментувати: Perplexity створює нативний браузер Comet, замінюючи традиційні результати пошуку на AI; Brave поєднує захист конфіденційності з локальним висновком, посилюючи функції пошуку та блокування за допомогою LLM; а такі проекти, як Donut, орієнтуються на нові входи для взаємодії AI з активами на блокчейні. Спільною рисою цих проектів є те, що вони намагаються переробити вхідну частину браузера, а не прикрашати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентами. Браузер як інтерфейс для викликів агентів у майбутньому означає, що той, хто може надати структуровані, викликаються та надійні "блоки можливостей", зможе стати частиною нового покоління платформ. Від SEO до AEO(Agent Engine Optimization), від трафіку на сторінках до викликів завдань, форми продукту та дизайнерське мислення зазнають реконструкції. Третя війна браузерів відбувається в "введенні", а не в "представленні"; переможець визначається не тим, хто привертає увагу користувачів, а тим, хто здобуває довіру агентів і отримує доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, немов вітрильник, що відкриває нові землі, відкриваючи мільйонам користувачів двері у цифровий світ. Цей браузер не був першим, але став першим справжнім продуктом, що вийшов на масовий ринок і сформував досвід використання Інтернету. Тоді люди вперше змогли так легко переглядати веб-сторінки через графічний інтерфейс, ніби весь світ раптом став досяжним.
Проте, слава зазвичай короткочасна. Microsoft швидко усвідомила важливість браузерів і вирішила примусово інтегрувати Internet Explorer у операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "вбивцею платформи", що прямо зруйнувала домінуючу позицію Netscape на ринку. Багато користувачів не обирали IE активно, а просто приймали його, оскільки він був за замовчуванням у системі. IE, завдяки можливостям розповсюдження Windows, швидко став лідером галузі, тоді як Netscape потрапила в спадщину.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях - вони відкрили вихідний код браузера, закликавши до відкритої спільноти. Це рішення, здавалося, стало технічним "македонським поступком", що передвіщало кінець старої ери та піднесення нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix(, що означало "фенікс відродження"), але через проблеми з торговими марками неодноразово змінював назву, поки врешті-решт не отримав ім'я Firefox.
Firefox не є простою копією Netscape, він досяг багатьох проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження знаменує перемогу відкритого коду, а також вносить нову енергію в усю індустрію. Дехто описує Firefox як "духовного спадкоємця" Netscape, подібно до того, як Османська імперія успадкувала залишки Візантії. Це порівняння, хоч і перебільшене, проте має глибокий сенс.
Але за кілька років до офіційного випуску Firefox, Microsoft вже випустила шість версій IE, завдяки перевазі часу та стратегії зв'язування з системою, що змусило Firefox з самого початку перебувати в позиції наздоганяючого, що визначило цю гонку як нечесну, оскільки стартова лінія не була рівною.
Водночас, ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії, спочатку був лише експериментальним проєктом. Але з версії 7.0 у 2003 році він впровадив власний двигун Presto, першим підтримав CSS, адаптивну верстку, голосове управління та кодування Unicode, а також інші передові технології. Хоча кількість користувачів була обмежена, технологічно він завжди залишався на передовій, ставши "улюбленцем геeks".
У той же рік Apple випустила браузер Safari. Це був значущий поворот. Тоді Microsoft інвестувала 150 мільйонів доларів у Apple, яка ледь не збанкрутувала, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча з моменту свого створення Safari використовував Google як пошукову систему за замовчуванням, ця історична плутанина з Microsoft символізує складні та тонкі відносини між інтернет-гігантами: співпраця та конкуренція завжди йдуть рука в руку.
У 2007 році IE7 був випущений разом з Windows Vista, але ринкові відгуки були посередніми. У свою чергу, Firefox завдяки швидшому темпу оновлень, більш дружній механіці розширень та природній привабливості для розробників поступово збільшував свою частку на ринку до приблизно 20%. Панування IE поступово послаблюється, вітри змінюються.
Google є ще одним підходом. Хоча з 2001 року компанія почала розробку власного браузера, їй знадобилося шість років, щоб переконати CEO Еріка Шмідта затвердити цей проект. Chrome з'явився у 2008 році, створений на основі відкритого проекту Chromium та двигуна WebKit, який використовується Safari. Його жартома називають "об'ємним" браузером, але завдяки глибоким знанням Google у рекламі та формуванні бренду, він швидко зріс у популярності.
Ключовою зброєю Chrome є не функції, а частота оновлень версій ( раз на шість тижнів ) з єдиним досвідом на всіх платформах. У листопаді 2011 року Chrome вперше перевершив Firefox, досягнувши 27% частки ринку; через шість місяців він знову обійшов IE, завершивши перехід від виклику до домінування.
Водночас, мобільний інтернет Китаю також формує власну екосистему. Один з браузерів швидко здобув популярність на початку 2010-х, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, що завоювали прихильність користувачів бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, в Індії вона сягала 46%. Але ця перемога не була тривалою. З посиленням безпекового контролю урядом Індії щодо китайських додатків, браузер був змушений піти з ключового ринку, поступово втрачаючи колишню славу.
У 2020-х роках домінування Chrome вже було закріплено, частка на світовому ринку стабілізувалася приблизно на рівні 65%. Варто зазначити, що хоча пошукова система Google і браузер Chrome обидва належать Alphabet, з ринкової точки зору це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, тоді як друга має більшість користувачів, які заходять в Інтернет через «перше вікно».
Щоб зберегти цю подвійну монопольну структуру, Google не шкодує грошей. У 2022 році Alphabet виплатила Apple близько 20 мільярдів доларів, лише щоб Google зберіг свою позицію за замовчуванням у Safari. Дослідники зазначають, що ця витрата становить 36% від доходу Google від реклами пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою захисну стіну.
Але вітер знову змінився. На фоні зростання великих мовних моделей (LLM) традиційний пошук почав зазнавати ударів. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоча компанія все ще домінує, тріщини вже з'явилися. Ще більш руйнівними є чутки про те, що Apple може запустити власний AI пошуковий двигун - якщо Safari змінить свій стандартний пошук на власний, це не лише змінить екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, відображаючи не лише паніку інвесторів, але й глибоке занепокоєння щодо майбутнього ери пошуку.
Від Navigator до Chrome, від відкритих ідей до рекламної комерціалізації, від легкого браузера до AI-помічника для пошуку, боротьба браузерів завжди була битвою за технології, платформи, контент та контроль. Поле битви постійно зміщується, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура виглядає наступним чином:
Клієнт - фронтальний вхід
Перевірте, чи доставлено останній Google Front End через HTTPS, завершіть TLS-розшифрування, QoS-отримання та гео-маршрутизацію. Якщо виявлено аномальний трафік (DDoS, автоматичне збирання ) може бути обмежене або викликане на цьому рівні.
Розуміння запиту
Передній кінець повинен розуміти значення слів, які вводить користувач, і має три етапи: нейронна перевірка орфографії, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" до "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним або торговим, і розподіл запитів по Vertical.
Вибір кандидатів
Технологія запитів, що використовується Google, називається: обернений індекс. У прямому індексі ми можемо індексувати файл, якщо нам відомий ID. Однак користувач не може знати номер вмісту серед трильйонів файлів, тому була використана дуже традиційна обернена індексація, яка дозволяє знаходити, які файли містять відповідні ключові слова, за їх вмістом. Далі Google використовує векторну індексацію для обробки семантичного пошуку, тобто пошуку вмісту, який є схожим за значенням на запит. Вона перетворює текст, зображення та інший вміст у високомірні вектори (embedding) і проводить пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після оберненого індексу та векторного індексу приблизно сто тисяч веб-сторінок будуть попередньо відібрані.
Багаторівневе сортування
Системи зазвичай використовують тисячі легких ознак, таких як BM25, TF-IDF, оцінка якості сторінок, щоб відфільтрувати десятки тисяч кандидатів до приблизно 1000 статей, формуючи початковий набір кандидатів. Цей тип систем загалом називають рекомендуючими системами. Вони покладаються на величезну кількість ознак, які генеруються різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, Google обробляє інформацію про історію користувача, зворотний зв'язок від інших користувачів, семантику сторінки, значення запиту, а також враховує контекстуальні фактори, такі як час ( доби, конкретні дні тижня ) та зовнішні події, такі як останні новини.
Глибинне навчання для основного сортування
На етапі попереднього пошуку Google використовує такі технології, як RankBrain і Neural Matching, щоб зрозуміти семантику запиту та відфільтрувати попередньо релевантні результати з величезної кількості документів. RankBrain - це система машинного навчання, яку Google впровадив у 2015 році, щоб краще розуміти значення запитів користувачів, зокрема нових запитів. Вона перетворює запити та документи в векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як зробити тісто для піци", навіть якщо в документі немає точно відповідних ключових слів, RankBrain може виявити вміст, пов'язаний з "основою для піци" або "виготовленням тіста".
Neural Matching – це ще одна технологія, яку Google представив у 2018 році, спрямована на більш глибоке розуміння семантичних зв'язків між запитами та документами. Вона використовує моделі нейронних мереж для захоплення неясних відносин між словами, що допомагає Google краще відповідати запитам та змісту веб-сторінок. Наприклад, для запиту "чому мій ноутбук сильно гудить вентилятор", Neural Matching може зрозуміти, що користувач, ймовірно, шукає інформацію про усунення несправностей, пов'язану з перегрівом, накопиченням пилу або високим використанням ЦП, навіть якщо ці слова не з'являються безпосередньо у запиті.
Глибоке перетворення: застосування моделі BERT
Після попереднього відбору відповідних документів Google використовує модель BERT(Bidirectional Encoder Representations from Transformers) для цих документів.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
AI перетворює браузер: можливості та виклики третьої війни браузерів
Настав час AI-браузерів: можливості та виклики третьої війни браузерів
Третя війна браузерів тихо розгортається. Від Netscape та Internet Explorer від Microsoft у 90-х роках до Firefox з відкритим кодом та Chrome від Google, боротьба між браузерами завжди була концентрованим вираженням контролю платформи та зміни технологічних парадигм. Chrome здобув панівну позицію завдяки швидкості оновлень та екологічній інтеграції, а Google створив замкнене коло інформаційного входу через "подвійну олігополію" пошуку та браузера.
Але сьогодні ця структура починає поступатися. Поява великих мовних моделей (LLM) призводить до того, що дедалі більше користувачів виконують завдання на сторінках результатів пошуку з "нульовими кліками", що зменшує традиційну поведінку кліку на веб-сторінки. Водночас чутки про те, що Apple може замінити пошукову систему за замовчуванням у Safari, ще більше загрожують прибутковій основі Alphabet, і ринок починає виявляти нестійкість щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням своїх ролей. Він більше не лише інструмент для відображення веб-сторінок, а й контейнер для збору різних можливостей, таких як введення даних, поведінка користувачів, приватність та ідентичність. Хоча AI Agent і потужний, для виконання складної взаємодії на сторінці, виклику локальних даних про ідентичність, контролю елементів веб-сторінки, все ще потрібна підтримка довірчої межі та функціональної пісочниці браузера. Браузер перетворюється з людського інтерфейсу на платформу системних викликів для агентів.
Справжнім потенційним розривом у нинішній структурі ринку браузерів буде не ще один "кращий Chrome", а нова структура взаємодії: не просто відображення інформації, а виклик завдань. У майбутньому браузери повинні бути спроектовані для AI Agent - не лише читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінок, перетворюючи візуальний інтерфейс у структурований текст, доступний для виклику LLM, що значно знижує витрати на взаємодію.
Основні проекти на ринку вже почали експериментувати: Perplexity створює нативний браузер Comet, замінюючи традиційні результати пошуку на AI; Brave поєднує захист конфіденційності з локальним висновком, посилюючи функції пошуку та блокування за допомогою LLM; а такі проекти, як Donut, орієнтуються на нові входи для взаємодії AI з активами на блокчейні. Спільною рисою цих проектів є те, що вони намагаються переробити вхідну частину браузера, а не прикрашати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентами. Браузер як інтерфейс для викликів агентів у майбутньому означає, що той, хто може надати структуровані, викликаються та надійні "блоки можливостей", зможе стати частиною нового покоління платформ. Від SEO до AEO(Agent Engine Optimization), від трафіку на сторінках до викликів завдань, форми продукту та дизайнерське мислення зазнають реконструкції. Третя війна браузерів відбувається в "введенні", а не в "представленні"; переможець визначається не тим, хто привертає увагу користувачів, а тим, хто здобуває довіру агентів і отримує доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, немов вітрильник, що відкриває нові землі, відкриваючи мільйонам користувачів двері у цифровий світ. Цей браузер не був першим, але став першим справжнім продуктом, що вийшов на масовий ринок і сформував досвід використання Інтернету. Тоді люди вперше змогли так легко переглядати веб-сторінки через графічний інтерфейс, ніби весь світ раптом став досяжним.
Проте, слава зазвичай короткочасна. Microsoft швидко усвідомила важливість браузерів і вирішила примусово інтегрувати Internet Explorer у операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "вбивцею платформи", що прямо зруйнувала домінуючу позицію Netscape на ринку. Багато користувачів не обирали IE активно, а просто приймали його, оскільки він був за замовчуванням у системі. IE, завдяки можливостям розповсюдження Windows, швидко став лідером галузі, тоді як Netscape потрапила в спадщину.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях - вони відкрили вихідний код браузера, закликавши до відкритої спільноти. Це рішення, здавалося, стало технічним "македонським поступком", що передвіщало кінець старої ери та піднесення нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix(, що означало "фенікс відродження"), але через проблеми з торговими марками неодноразово змінював назву, поки врешті-решт не отримав ім'я Firefox.
Firefox не є простою копією Netscape, він досяг багатьох проривів у користувацькому досвіді, екосистемі плагінів, безпеці тощо. Його народження знаменує перемогу відкритого коду, а також вносить нову енергію в усю індустрію. Дехто описує Firefox як "духовного спадкоємця" Netscape, подібно до того, як Османська імперія успадкувала залишки Візантії. Це порівняння, хоч і перебільшене, проте має глибокий сенс.
Але за кілька років до офіційного випуску Firefox, Microsoft вже випустила шість версій IE, завдяки перевазі часу та стратегії зв'язування з системою, що змусило Firefox з самого початку перебувати в позиції наздоганяючого, що визначило цю гонку як нечесну, оскільки стартова лінія не була рівною.
Водночас, ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який походить з Норвегії, спочатку був лише експериментальним проєктом. Але з версії 7.0 у 2003 році він впровадив власний двигун Presto, першим підтримав CSS, адаптивну верстку, голосове управління та кодування Unicode, а також інші передові технології. Хоча кількість користувачів була обмежена, технологічно він завжди залишався на передовій, ставши "улюбленцем геeks".
У той же рік Apple випустила браузер Safari. Це був значущий поворот. Тоді Microsoft інвестувала 150 мільйонів доларів у Apple, яка ледь не збанкрутувала, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча з моменту свого створення Safari використовував Google як пошукову систему за замовчуванням, ця історична плутанина з Microsoft символізує складні та тонкі відносини між інтернет-гігантами: співпраця та конкуренція завжди йдуть рука в руку.
У 2007 році IE7 був випущений разом з Windows Vista, але ринкові відгуки були посередніми. У свою чергу, Firefox завдяки швидшому темпу оновлень, більш дружній механіці розширень та природній привабливості для розробників поступово збільшував свою частку на ринку до приблизно 20%. Панування IE поступово послаблюється, вітри змінюються.
Google є ще одним підходом. Хоча з 2001 року компанія почала розробку власного браузера, їй знадобилося шість років, щоб переконати CEO Еріка Шмідта затвердити цей проект. Chrome з'явився у 2008 році, створений на основі відкритого проекту Chromium та двигуна WebKit, який використовується Safari. Його жартома називають "об'ємним" браузером, але завдяки глибоким знанням Google у рекламі та формуванні бренду, він швидко зріс у популярності.
Ключовою зброєю Chrome є не функції, а частота оновлень версій ( раз на шість тижнів ) з єдиним досвідом на всіх платформах. У листопаді 2011 року Chrome вперше перевершив Firefox, досягнувши 27% частки ринку; через шість місяців він знову обійшов IE, завершивши перехід від виклику до домінування.
Водночас, мобільний інтернет Китаю також формує власну екосистему. Один з браузерів швидко здобув популярність на початку 2010-х, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисненню даних для економії трафіку та іншим характеристикам, що завоювали прихильність користувачів бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, в Індії вона сягала 46%. Але ця перемога не була тривалою. З посиленням безпекового контролю урядом Індії щодо китайських додатків, браузер був змушений піти з ключового ринку, поступово втрачаючи колишню славу.
У 2020-х роках домінування Chrome вже було закріплено, частка на світовому ринку стабілізувалася приблизно на рівні 65%. Варто зазначити, що хоча пошукова система Google і браузер Chrome обидва належать Alphabet, з ринкової точки зору це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових входів, тоді як друга має більшість користувачів, які заходять в Інтернет через «перше вікно».
Щоб зберегти цю подвійну монопольну структуру, Google не шкодує грошей. У 2022 році Alphabet виплатила Apple близько 20 мільярдів доларів, лише щоб Google зберіг свою позицію за замовчуванням у Safari. Дослідники зазначають, що ця витрата становить 36% від доходу Google від реклами пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою захисну стіну.
Але вітер знову змінився. На фоні зростання великих мовних моделей (LLM) традиційний пошук почав зазнавати ударів. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоча компанія все ще домінує, тріщини вже з'явилися. Ще більш руйнівними є чутки про те, що Apple може запустити власний AI пошуковий двигун - якщо Safari змінить свій стандартний пошук на власний, це не лише змінить екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, відображаючи не лише паніку інвесторів, але й глибоке занепокоєння щодо майбутнього ери пошуку.
Від Navigator до Chrome, від відкритих ідей до рекламної комерціалізації, від легкого браузера до AI-помічника для пошуку, боротьба браузерів завжди була битвою за технології, платформи, контент та контроль. Поле битви постійно зміщується, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура виглядає наступним чином:
Клієнт - фронтальний вхід
Перевірте, чи доставлено останній Google Front End через HTTPS, завершіть TLS-розшифрування, QoS-отримання та гео-маршрутизацію. Якщо виявлено аномальний трафік (DDoS, автоматичне збирання ) може бути обмежене або викликане на цьому рівні.
Розуміння запиту
Передній кінець повинен розуміти значення слів, які вводить користувач, і має три етапи: нейронна перевірка орфографії, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" до "repair bicycle". Аналіз намірів, визначення, чи є запит інформаційним, навігаційним або торговим, і розподіл запитів по Vertical.
Вибір кандидатів
Технологія запитів, що використовується Google, називається: обернений індекс. У прямому індексі ми можемо індексувати файл, якщо нам відомий ID. Однак користувач не може знати номер вмісту серед трильйонів файлів, тому була використана дуже традиційна обернена індексація, яка дозволяє знаходити, які файли містять відповідні ключові слова, за їх вмістом. Далі Google використовує векторну індексацію для обробки семантичного пошуку, тобто пошуку вмісту, який є схожим за значенням на запит. Вона перетворює текст, зображення та інший вміст у високомірні вектори (embedding) і проводить пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником по приготуванню тіста для піци", оскільки вони семантично схожі. Після оберненого індексу та векторного індексу приблизно сто тисяч веб-сторінок будуть попередньо відібрані.
Багаторівневе сортування
Системи зазвичай використовують тисячі легких ознак, таких як BM25, TF-IDF, оцінка якості сторінок, щоб відфільтрувати десятки тисяч кандидатів до приблизно 1000 статей, формуючи початковий набір кандидатів. Цей тип систем загалом називають рекомендуючими системами. Вони покладаються на величезну кількість ознак, які генеруються різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, Google обробляє інформацію про історію користувача, зворотний зв'язок від інших користувачів, семантику сторінки, значення запиту, а також враховує контекстуальні фактори, такі як час ( доби, конкретні дні тижня ) та зовнішні події, такі як останні новини.
Глибинне навчання для основного сортування
На етапі попереднього пошуку Google використовує такі технології, як RankBrain і Neural Matching, щоб зрозуміти семантику запиту та відфільтрувати попередньо релевантні результати з величезної кількості документів. RankBrain - це система машинного навчання, яку Google впровадив у 2015 році, щоб краще розуміти значення запитів користувачів, зокрема нових запитів. Вона перетворює запити та документи в векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як зробити тісто для піци", навіть якщо в документі немає точно відповідних ключових слів, RankBrain може виявити вміст, пов'язаний з "основою для піци" або "виготовленням тіста".
Neural Matching – це ще одна технологія, яку Google представив у 2018 році, спрямована на більш глибоке розуміння семантичних зв'язків між запитами та документами. Вона використовує моделі нейронних мереж для захоплення неясних відносин між словами, що допомагає Google краще відповідати запитам та змісту веб-сторінок. Наприклад, для запиту "чому мій ноутбук сильно гудить вентилятор", Neural Matching може зрозуміти, що користувач, ймовірно, шукає інформацію про усунення несправностей, пов'язану з перегрівом, накопиченням пилу або високим використанням ЦП, навіть якщо ці слова не з'являються безпосередньо у запиті.
Глибоке перетворення: застосування моделі BERT
Після попереднього відбору відповідних документів Google використовує модель BERT(Bidirectional Encoder Representations from Transformers) для цих документів.