Akhir-akhir ini saya memikirkan tentang revolusi GPU dalam AI. Anda tahu bagaimana beberapa pergeseran teknologi terasa tak terhindarkan jika dilihat dari belakang, tetapi pada saat itu terjadi, sebenarnya itu adalah lompatan keyakinan yang besar?

Apa yang benar-benar membuat saya penasaran adalah: kapan para veteran industri pertama kali menyadari bahwa GPU tidak hanya untuk grafik lagi - bahwa mereka adalah pengubah permainan yang sebenarnya untuk pembelajaran mesin? Apakah ada eksperimen penting yang membuatnya menjadi sangat jelas? Atau apakah itu berkembang lebih bertahap, melalui percobaan dan kesalahan?

Karena inilah masalahnya - momen terobosan dalam teknologi jarang datang dengan ikatan yang rapi di atasnya. Terkadang jelas dari prinsip pertama, di lain waktu lebih berantakan. Anda sedang dalam pekerjaan, menguji berbagai pendekatan, dan tiba-tiba semua bagian menyatu.

Seluruh evolusi ini sangat penting jauh di luar AI juga. Lihatlah penambangan kripto, mekanisme konsensus blockchain, bahkan infrastruktur komputasi yang mendukung proyek Web3 saat ini - optimasi GPU terletak di jantung semuanya. Memahami bagaimana wawasan ini terbentuk pada saat itu mungkin memberi tahu kita sesuatu tentang di mana pergeseran paradigma komputasi berikutnya bersembunyi.