AI x Crypto: Từ số không đến đỉnh cao

Giới thiệu

Sự phát triển gần đây của ngành AI được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao hiệu quả của các ngành công nghiệp, Boston Consulting cho rằng GPT đã nâng cao khoảng 20% hiệu suất làm việc tại Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được gọi là một mô hình thiết kế phần mềm mới, trước đây, thiết kế phần mềm là mã chính xác, còn bây giờ là khung mô hình lớn tổng quát hơn được nhúng vào phần mềm, những phần mềm này có khả năng hoạt động tốt hơn và hỗ trợ đầu vào và đầu ra mô hình rộng hơn. Công nghệ học sâu thực sự đã mang lại sự thịnh vượng lần thứ tư cho ngành AI, và làn sóng này cũng đã lan sang ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của việc phát minh ra công nghệ học sâu đối với ngành. Sau đó, chúng tôi sẽ phân tích sâu về các chuỗi công nghiệp liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong học sâu, cùng với tình hình và xu hướng phát triển hiện tại của chúng. Tiếp theo, chúng tôi sẽ thảo luận chi tiết về mối quan hệ giữa tiền điện tử và ngành AI, đồng thời xem xét cấu trúc chuỗi công nghiệp AI liên quan đến tiền điện tử.

Lịch sử phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, nhằm hiện thực hóa ước mơ trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau để thực hiện trí tuệ nhân tạo trong các bối cảnh và ngành học khác nhau qua các thời kỳ.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là cho phép máy móc dựa vào dữ liệu để lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là gửi dữ liệu vào thuật toán, sử dụng dữ liệu này để huấn luyện mô hình, kiểm tra triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện nay, máy học có ba trường phái chính, lần lượt là kết nối, biểu tượng và hành vi, tương ứng mô phỏng hệ thống thần kinh, tư duy và hành động của con người.

Và hiện tại, chủ nghĩa liên kết đại diện cho mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), lý do chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Khi số lượng lớp và số nơ-ron ( tham số ) trở nên đủ lớn, thì sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp và tổng quát. Thông qua việc nhập dữ liệu, có thể liên tục điều chỉnh tham số của các nơ-ron, và cuối cùng, sau nhiều lần trải qua dữ liệu, nơ-ron này sẽ đạt được trạng thái tốt nhất ( tham số ), đây chính là điều mà chúng ta gọi là "sức mạnh kỳ diệu", và đây cũng là nguồn gốc của từ "sâu" – đủ số lượng lớp và nơ-ron.

Lấy một ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này khi chúng ta nhập X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này xử lý tất cả các giá trị X, thì cần phải tiếp tục thêm bậc của hàm này và các tham số của nó, ví dụ như tôi có thể xây dựng hàm phù hợp với điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải xây dựng lại một hàm phù hợp cho ba điểm dữ liệu này, sử dụng GPU để brute force phát hiện Y = X2 -3X +5, khá hợp lý, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Trong đây, X2, X, và X0 đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.

Khi chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để khớp với dữ liệu mới. Bằng cách này, chúng ta có thể khớp với tất cả dữ liệu.

Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều vòng lặp và tiến hóa kỹ thuật, như mạng nơ-ron sớm nhất trong hình trên, mạng nơ-ron tiến công, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như công nghệ Transformer được sử dụng trong GPT. Công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa tất cả các kiểu dữ liệu ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu diễn. Sau đó, dữ liệu này được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa phương thức.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên là vào những năm 1960, là sau mười năm kể từ khi công nghệ AI được đề xuất, làn sóng này được gây ra bởi sự phát triển của công nghệ biểu tượng. Công nghệ này đã giải quyết được các vấn đề về xử lý ngôn ngữ tự nhiên tổng quát cũng như đối thoại giữa người và máy. Cùng thời gian đó, hệ thống chuyên gia đã ra đời, đây là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của Đại học Stanford tại NASA, hệ thống này có kiến thức hóa học rất mạnh, thông qua việc đặt câu hỏi để suy luận và tạo ra câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa một kho kiến thức hóa học và một hệ thống suy luận.

Sau hệ thống chuyên gia, vào những năm 90, nhà khoa học và triết gia người Mỹ gốc Israel Judea Pearl ( Judea Pearl ) đã đề xuất mạng Bayesian, mạng này còn được gọi là mạng niềm tin. Cùng thời điểm đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của hành vi học.

Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển lần thứ hai.

Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba gã khổng lồ trong lĩnh vực học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đưa ra khái niệm học sâu, một thuật toán dựa trên kiến trúc mạng nơ-ron nhân tạo để học biểu diễn dữ liệu. Sau đó, thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hưng thịnh của chủ nghĩa liên kết.

Nhiều sự kiện mang tính biểu tượng cũng xuất hiện dần theo sự khám phá và tiến hóa của công nghệ học sâu, bao gồm:

• Năm 2011, Watson của IBM ( đã chiến thắng con người và giành giải vô địch trong chương trình quiz "Jeopardy" ).

• Năm 2014, Goodfellow đã đề xuất GAN( Mạng đối kháng sinh, Generative Adversarial Network), thông qua việc cho hai mạng nơ-ron đấu tranh lẫn nhau để học, có thể tạo ra những bức ảnh giống thật đến khó tin. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.

• Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", việc đề xuất phương pháp học sâu này đã ngay lập tức gây ra tiếng vang lớn trong giới học thuật cũng như trong ngành công nghiệp.

• Năm 2015, OpenAI được thành lập, Musk, Tổng thống YC Altman, nhà đầu tư thiên thần Peter Thiel ( Peter Thiel ) và những người khác công bố cùng nhau đầu tư 1 tỷ đô la.

• Năm 2016, AlphaGo dựa trên công nghệ học sâu đã chiến đấu với nhà vô địch cờ vây thế giới, kỳ thủ chuyên nghiệp 9 đoạn Lee Sedol, và giành chiến thắng với tổng tỷ số 4-1.

• Năm 2017, công ty công nghệ robot Hanson Robotics( tại Hồng Kông, Trung Quốc, đã phát triển robot hình người Sophia, được gọi là robot đầu tiên trong lịch sử nhận được quyền công dân hạng nhất, với khả năng biểu cảm khuôn mặt phong phú và khả năng hiểu ngôn ngữ của con người.

• Năm 2017, Google, với nguồn nhân lực và công nghệ dồi dào trong lĩnh vực trí tuệ nhân tạo, đã công bố bài báo "Attention is all you need" và giới thiệu thuật toán Transformer, đánh dấu sự xuất hiện của các mô hình ngôn ngữ quy mô lớn.

• Năm 2018, OpenAI đã công bố GPT) Generative Pre-trained Transformer( được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, đội ngũ Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được xem là một dấu hiệu tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, cao gấp 100 lần so với phiên bản trước đó là GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt được hiệu suất tiên tiến trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên ) như trả lời câu hỏi, dịch thuật, viết bài (.

• Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, vào tháng 3 ChatGPT đạt một trăm triệu người dùng, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, OpenAI ra mắt GPT-4 omni.

Chú ý: Do có rất nhiều bài báo về trí tuệ nhân tạo, nhiều trường phái khác nhau và sự tiến hóa công nghệ không giống nhau, vì vậy ở đây chủ yếu theo lịch sử phát triển của học sâu hoặc chủ nghĩa liên kết, các trường phái và công nghệ khác vẫn đang trong quá trình phát triển nhanh chóng.

![Người mới phổ cập丨AI x Crypto: Từ số không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-609c5dd6ee0abcec6bf9c118d7741867.webp(

Chuỗi công nghiệp học sâu

Các mô hình ngôn ngữ lớn hiện tại đều sử dụng các phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng mới trong lĩnh vực trí tuệ nhân tạo, rất nhiều người chơi đã đổ vào con đường này, và chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi cung ứng của các thuật toán học sâu, trong ngành công nghiệp AI do các thuật toán học sâu dẫn dắt, các bên liên quan ở thượng nguồn và hạ nguồn được hình thành như thế nào, và tình hình hiện tại cùng với mối quan hệ cung cầu và sự phát triển trong tương lai ra sao.

Trước tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo các mô hình lớn LLMs do GPT dẫn đầu dựa trên công nghệ Transformer ), sẽ có tổng cộng ba bước.

Trước khi huấn luyện, vì dựa trên Transformer, nên bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Trung Quốc có thể được coi là khoảng hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp đủ cặp dữ liệu cho lớp đầu vào, giống như ví dụ được nêu trong phần đầu của báo cáo (X,Y), để tìm các tham số tối ưu của từng nơ-ron trong mô hình, lúc này cần rất nhiều dữ liệu, và quá trình này cũng là quá trình tốn nhiều sức mạnh tính toán nhất, vì phải lặp đi lặp lại để các nơ-ron thử nghiệm các tham số khác nhau. Sau khi hoàn thành huấn luyện một lô cặp dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lần hai nhằm lặp lại các tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng có chất lượng rất cao để huấn luyện, sự thay đổi như vậy sẽ làm cho đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện trước cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.

Bước thứ ba, học tăng cường. Đầu tiên, sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp các kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì tình huống kinh doanh tương đối chuyên sâu. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy chúng tôi có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ( nhưng đôi khi vẫn cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình )

Nói ngắn gọn, trong quá trình đào tạo mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi việc tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, và học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ như trong ví dụ hàm số Y = aX + b, thực tế có hai neuron X và X0, do đó cách thay đổi tham số sẽ có thể phù hợp với dữ liệu rất hạn chế, vì bản chất vẫn chỉ là một đường thẳng. Nếu số neuron nhiều hơn, thì có thể lặp lại nhiều tham số hơn, từ đó có thể phù hợp với nhiều dữ liệu hơn, đây chính là lý do tại sao mô hình lớn lại tạo ra kỳ tích, và cũng là lý do tại sao được gọi là mô hình lớn, bản chất chính là số lượng neuron và tham số khổng lồ, cùng với đó là lượng dữ liệu khổng lồ, đồng thời cần một lượng tính toán khổng lồ.

Vì vậy, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán, ba yếu tố này cùng ảnh hưởng.