AI x Crypto: Từ số không đến đỉnh cao

Giới thiệu

Gần đây, sự phát triển của ngành AI đã được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu suất của các ngành nghề khác nhau, ước tính GPT đã nâng cao khoảng 20% hiệu suất làm việc ở Mỹ. Khả năng tổng quát mà các mô hình lớn mang lại được coi là một mô hình thiết kế phần mềm mới, thiết kế mã chính xác trong quá khứ đã chuyển sang việc nhúng khung mô hình lớn hơn vào phần mềm, giúp phần mềm có hiệu suất tốt hơn và hỗ trợ đầu vào và đầu ra đa dạng hơn. Công nghệ học sâu thực sự đã mang lại sự thịnh vượng lần thứ tư cho ngành AI, và làn sóng này cũng đã ảnh hưởng đến ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của việc phát minh công nghệ học sâu đối với ngành. Sau đó, sẽ phân tích sâu về chuỗi ngành liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên, v.v., cũng như tình trạng phát triển và xu hướng hiện tại của chúng. Tiếp theo, sẽ thảo luận về mối quan hệ giữa Crypto và ngành AI từ bản chất, và sắp xếp lại cấu trúc chuỗi ngành AI liên quan đến Crypto.

Lịch sử phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, để thực hiện tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau để đạt được trí tuệ nhân tạo dưới các bối cảnh học thuật và công nghiệp khác nhau trong các thời kỳ khác nhau.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là cho phép máy móc dựa vào dữ liệu để lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất hệ thống. Các bước chính là gửi dữ liệu vào thuật toán, sử dụng dữ liệu này để đào tạo mô hình, kiểm tra triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện nay, học máy có ba trường phái chính, đó là chủ nghĩa kết nối, chủ nghĩa biểu tượng và chủ nghĩa hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành vi của con người.

Hiện tại, chủ nghĩa kết nối tiêu biểu cho mạng nơ-ron đang chiếm ưu thế ( cũng được gọi là học sâu ), lý do chính là kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Khi số lượng lớp và số nơ-ron ( cũng như các tham số ) đủ lớn, sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp chung. Thông qua đầu vào dữ liệu, các tham số của nơ-ron có thể được điều chỉnh liên tục, cuối cùng sau nhiều lần dữ liệu, nơ-ron đó sẽ đạt trạng thái tối ưu ( các tham số ), đây cũng chính là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.

Hiểu đơn giản là đã cấu tạo một hàm, khi chúng ta nhập X=2 thì Y=3; khi X=3 thì Y=5, nếu muốn hàm này áp dụng cho tất cả các giá trị X, thì cần phải tiếp tục thêm độ của hàm và các tham số của nó, ví dụ có thể cấu tạo một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa mạnh phát hiện Y = X2 -3X +5, khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương tự là đủ. Trong đó X2 và X, X0 đều đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.

Nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và lặp lại các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.

Và dựa trên công nghệ học sâu mạng nơ-ron, cũng có nhiều sự lặp lại và tiến hóa công nghệ, lần lượt như mạng nơ-ron đầu tiên, mạng nơ-ron hồi tiếp, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như công nghệ Transformer được sử dụng trong GPT, công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, bổ sung thêm một bộ chuyển đổi ( Transformer ), dùng để mã hóa dữ liệu của tất cả các kiểu ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, dữ liệu này được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa mô hình.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên là vào những năm 1960, sau mười năm khi công nghệ AI được đưa ra, làn sóng này được gây ra bởi sự phát triển của công nghệ chủ nghĩa ký hiệu, công nghệ này giải quyết các vấn đề về xử lý ngôn ngữ tự nhiên chung cũng như đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia ra đời, đây là hệ thống DENRAL do Đại học Stanford hoàn thành dưới sự giám sát của NASA, hệ thống này có kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy luận nhằm tạo ra câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa cơ sở dữ liệu kiến thức hóa học và hệ thống suy luận.

Sau hệ thống chuyên gia, vào những năm 1990, nhà khoa học và triết gia gốc Israel người Mỹ Judea Pearl ( đã đề xuất mạng Bayesian, còn được gọi là mạng niềm tin. Cùng thời gian đó, Brooks đã đưa ra robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.

Năm 1997, IBM Deep Blue đã đánh bại nhà vô địch cờ vua Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.

Làn sóng công nghệ AI thứ ba diễn ra vào năm 2006. Ba ông lớn trong lĩnh vực học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đưa ra khái niệm học sâu, một thuật toán dựa trên cấu trúc mạng nơ-ron nhân tạo để học biểu diễn dữ liệu. Sau đó, thuật toán học sâu đã dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hoàng kim của chủ nghĩa kết nối.

Nhiều sự kiện mang tính biểu tượng cũng dần xuất hiện cùng với sự khám phá và tiến hóa của công nghệ học sâu, bao gồm:

• Năm 2011, Watson của IBM ) đã vượt qua con người và giành chiến thắng trong chương trình quiz "Jeopardy" (.

• Năm 2014, Goodfellow đã đề xuất GAN) mạng đối kháng sinh, Generative Adversarial Network(, thông qua việc cho hai mạng nơ-ron đấu tranh với nhau để học, có thể tạo ra những bức ảnh giống thật đến mức khó phân biệt. Đồng thời, Goodfellow cũng đã viết một cuốn sách mang tên "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.

• Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", sự ra đời của phương pháp học sâu này ngay lập tức gây ra phản ứng mạnh mẽ trong giới học thuật cũng như trong ngành công nghiệp.

• Năm 2015, OpenAI được thành lập, Musk, Tổng thống YC Altman, nhà đầu tư thiên thần Peter Thiel) và những người khác đã công bố đầu tư chung 1 tỷ đô la.

• Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu cờ vây với nhà vô địch thế giới, kỳ thủ chuyên nghiệp 9 dan Lee Sedol và giành chiến thắng với tổng tỷ số 4-1.

• Năm 2017, công ty công nghệ robot Hanson Robotics tại Hồng Kông, Trung Quốc (Hanson Robotics) đã phát triển robot hình người Sophia, được gọi là robot đầu tiên trong lịch sử nhận được quyền công dân hạng nhất, với khả năng biểu cảm phong phú trên khuôn mặt và khả năng hiểu ngôn ngữ của con người.

• Năm 2017, Google, với nguồn nhân lực và công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo, đã công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.

• Năm 2018, OpenAI đã phát hành GPT( Generative Pre-trained Transformer) được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, đội ngũ Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là dấu mốc tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, cao gấp 100 lần phiên bản trước đó GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt hiệu suất tiên tiến nhất trong nhiều nhiệm vụ NLP( như trả lời câu hỏi, dịch thuật, viết bài).

• Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, và đến tháng 3, ChatGPT đã đạt 100 triệu người dùng, trở thành ứng dụng đạt 100 triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, OpenAI ra mắt GPT-4 omni.

Chuỗi công nghiệp học sâu

Các mô hình ngôn ngữ lớn hiện nay đều dựa trên phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một cơn sốt trí tuệ nhân tạo, nhiều người chơi đã đổ xô vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi cung ứng của các thuật toán học sâu. Trong ngành AI do thuật toán học sâu dẫn dắt, chúng tôi sẽ xem xét cách thức cấu thành của các bên liên quan, cũng như hiện trạng và mối quan hệ cung cầu của các bên này, cùng với sự phát triển trong tương lai.

Trước tiên, chúng ta cần làm rõ rằng, trong quá trình đào tạo các mô hình lớn LLMs dựa trên công nghệ Transformer do GPT dẫn đầu (, sẽ được chia thành ba bước.

Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành số, quá trình này được gọi là "Tokenization", sau đó những số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp đủ cặp dữ liệu cho lớp đầu vào, tương tự như ví dụ trong phần báo cáo đầu tiên )X,Y(, để tìm kiếm các tham số tối ưu của từng nơ-ron trong mô hình này, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tiêu tốn sức mạnh tính toán nhất, vì phải lặp đi lặp lại để các nơ-ron thử nghiệm các tham số khác nhau. Sau khi hoàn thành huấn luyện một lô cặp dữ liệu, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lần hai nhằm lặp lại các tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng chất lượng rất cao để huấn luyện, sự thay đổi này sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì việc huấn luyện trước cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể chứa lỗi hoặc chất lượng kém. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.

Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình phần thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp các kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá chuyên biệt. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình phần thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (

Nói tóm lại, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện yêu cầu một lượng dữ liệu rất cao, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi việc tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, và học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát càng cao, ví dụ trong ví dụ về hàm mà chúng ta đưa ra là Y = aX + b, thì thực tế có hai nơ-ron X và X0, do đó cách mà các tham số thay đổi, dữ liệu mà nó có thể khớp lại cực kỳ hạn chế, vì bản chất của nó vẫn chỉ là một đường thẳng. Nếu số lượng nơ-ron càng nhiều, thì sẽ có thể lặp lại nhiều tham số hơn, từ đó có thể khớp nhiều dữ liệu hơn, đó là lý do tại sao mô hình lớn lại tạo ra những điều kỳ diệu, và cũng là lý do tại sao nó được gọi một cách đơn giản là mô hình lớn, bản chất chính là lượng lớn nơ-ron và tham số, lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.

Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán. Chúng ba yếu tố này cùng nhau ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Giả sử số lượng tham số là p, khối lượng dữ liệu là n) tính bằng số lượng Token(, thì chúng ta có thể ước tính khối lượng tính toán cần thiết thông qua quy tắc kinh nghiệm chung, từ đó có thể dự đoán sơ bộ về tình hình sức mạnh tính toán cần mua và thời gian đào tạo.

Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán dấu chấm động, phép toán dấu chấm động là thuật ngữ chung cho việc cộng, trừ, nhân, chia các số không nguyên, chẳng hạn như 2.5 + 3.557, dấu chấm động đại diện cho khả năng có dấu phẩy thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác thường gặp hơn. Theo quy tắc thực tiễn, tiền huấn luyện