В последнее время я размышляю о революции GPU в ИИ. Знаете, как некоторые технологические изменения кажутся неизбежными задним числом, но в момент их происходления это на самом деле огромный шаг веры?

Что действительно вызывает у меня любопытство, так это: когда ветераны индустрии впервые поняли, что графические процессоры больше не предназначены только для графики - что они стали настоящими изменяющими правила игры для машинного обучения? Был ли какой-то ключевой эксперимент, который сделал это абсолютно ясным? Или это происходило более постепенно, через попытки и ошибки?

Потому что вот в чем дело - прорывные моменты в технологиях редко приходят с аккуратным бантиком сверху. Иногда это очевидно из первых принципов, в другие разы это более запутано. Вы глубоко в работе, тестируете разные подходы, и вдруг все складывается.

Эта вся эволюция имеет значение не только для ИИ. Посмотрите на крипто-майнинг, механизмы консенсуса блокчейна, даже вычислительную инфраструктуру, поддерживающую сегодняшние проекты Web3 - оптимизация GPU находится в сердце всего этого. Понимание того, как эти идеи сформировались тогда, может сказать нам что-то о том, где скрывается следующий сдвиг в вычислительных парадигмах.