Trí tuệ nhân tạo đang đối mặt với sự cản trở: các start-up đang tìm kiếm cách mở rộng tiếp theo

Mô hình AI tương lai từ OpenAI sẽ cho thấy sự tăng cường hiệu suất ít hơn so với những người tiên nhiệm. Điều này được The Information đưa tin dựa trên các nguồn tin

The publication reports that ORION reached the level of GPT-4 after 20% of training. This indicates that the performance improvement of GPT-5 compared to GPT-4 will be less than that from GPT-3 to GPT-4.

"Orion không tốt hơn người tiền nhiệm trong giải quyết một số vấn đề. Nó hoạt động tốt trong việc xử lý các vấn đề ngôn ngữ, nhưng không vượt trội hơn các mô hình trước đây trong mã hóa", nhân viên của start-up cho biết đến tờ báo.

Cải tiến đáng kể nhất của mạng nơ-ron thường xảy ra ở giai đoạn đầu của quá trình đào tạo. Trong giai đoạn tiếp theo, sự tiến bộ chậm lại. Do đó, khó có thể mà thời gian còn lại chiếm 80% sẽ mang lại sự tăng cường đáng kể về hiệu suất, theo nguồn tin từ The Information.

Trí tuệ nhân tạo đối mặt với giới hạn

Kết quả OpenAI không quá lạc quan chỉ ra một vấn đề cơ bản hơn đang đặt trước cả ngành công nghiệp: sự cạn kiệt dữ liệu chất lượng cao để huấn luyện.

Trong một nghiên cứu được công bố vào tháng 6 của một số chuyên gia, cho rằng các công ty trí tuệ nhân tạo sẽ sử dụng tất cả các tài liệu văn bản công cộng trong giai đoạn từ 2026 đến 2032. Điều này sẽ trở thành một điểm quan trọng đối với các phương pháp truyền thống trong việc phát triển trí tuệ nhân tạo.

"Kết quả của chúng tôi cho thấy rằng các xu hướng phát triển hiện tại của LLM không thể chỉ được hỗ trợ bằng tài khoản mở rộng dữ liệu truyền thống", như tác giả của nghiên cứu nói.

Trong nghiên cứu, đặt ra sự cần thiết phát triển các phương pháp thay thế để hoàn thiện mạng nơ-ron như tạo dữ liệu tổng hợp hoặc sử dụng thông tin đóng cửa

Trong The Information đã chú ý rằng chiến lược đào tạo LLM dựa trên dữ liệu văn bản công khai từ trang web, sách và các nguồn khác đã đạt đến điểm bão hòa, vì "nhà phát triển đã bóp chết tất cả thông tin từ loại thông tin này mà họ có thể".

Giải pháp tồn tại

OpenAI và các nhà phát triển khác đang thay đổi triệt để cách tiếp cận trong phát triển trí tuệ nhân tạo

"Trong bối cảnh tốc độ cải thiện của GPT chậm lại, có vẻ ngành công nghiệp đang dời trọng tâm từ việc mở rộng trong quá trình đào tạo sang việc tối ưu hóa các mô hình sau khi chúng được đào tạo ban đầu. Cách tiếp cận này có thể dẫn đến việc hình thành các quy luật mới về quy mô" - The Information đưa tin.

Để đạt được trạng thái cải thiện liên tục, OpenAI chia phát triển mô hình thành hai hướng khác nhau:

• Loạt O tập trung vào khả năng suy luận. Các mô hình này hoạt động với mức độ tính toán cao hơn đáng kể và được thiết kế để giải quyết các vấn đề phức tạp. Yêu cầu tính toán là đáng kể: chi phí vận hành tăng gấp sáu lần so với các mô hình hiện tại. Tuy nhiên, khả năng suy luận mở rộng đáng để tăng chi phí cho các ứng dụng cụ thể đòi hỏi xử lý phân tích;
• series GPT, oriented towards general communication tasks, is developing in parallel. The model uses a broader knowledge base.

Trong phiên hỏi đáp AMA, Giám đốc sản phẩm của OpenAI - Kevin Waile cho biết, trong tương lai, kế hoạch sáp nhập cả hai dự án sẽ được thực hiện.

Sử dụng dữ liệu tổng hợp là nguy hiểm

Việc tiếp cận vấn đề thiếu dữ liệu thông qua việc tạo ra chúng một cách nhân tạo có thể mang theo nguy cơ đối với chất lượng thông tin. Điều này được đề cập trong nghiên cứu của một số chuyên gia từ các trường đại học khác nhau tại Vương quốc Anh.

Theo ý kiến của họ, quyết định này cuối cùng có thể hoàn toàn tách rời Trí tuệ Nhân tạo khỏi thực tế và dẫn đến 'sụp đổ mô hình'. Vấn đề nằm ở việc sử dụng dữ liệu không đáng tin cậy của mạng nơ-ron để tạo ra bộ dữ liệu đào tạo cho thế hệ Trí tuệ Nhân tạo tiếp theo.

Để giải quyết vấn đề, OpenAI đang phát triển các cơ chế lọc để duy trì chất lượng thông tin, tích hợp các phương pháp kiểm tra khác nhau để phân loại nội dung chất lượng cao khỏi nội dung tiềm ẩn vấn đề

Tối ưu hóa sau khi huấn luyện - một phương pháp hiện đại khác. Các nhà nghiên cứu đang phát triển các phương pháp để nâng cao hiệu suất của mạng neuron sau giai đoạn điều chỉnh ban đầu, không chỉ dựa trên việc mở rộng tập thông tin.

Trước đó, truyền thông đã đưa tin về kế hoạch của OpenAI ra mắt mô hình AI tiên tiến tiếp theo với tên mã Orion vào tháng 12. Sau đó, giám đốc điều hành của công ty, Sam Altman, đã phủ nhận thông tin này.

Các phương pháp của các công ty khác

Một số nhà khoa học, nhà nghiên cứu và nhà đầu tư cho biết với Reuters rằng các phương pháp dưới cơ bản của mô hình trí tuệ nhân tạo o1 vừa được giới thiệu gần đây 'có thể thay đổi cuộc đua vũ khí' trong lĩnh vực trí tuệ nhân tạo.

Trong tháng Chín, OpenAI đã giới thiệu một mô hình ngôn ngữ lớn được đào tạo bằng phương pháp tăng cường để thực hiện các quan điểm phức tạp. Mạng nơ-ron có khả năng suy nghĩ - nó có thể tạo ra một chuỗi suy nghĩ nội tại dài trong quá trình phân tích câu hỏi, theo công ty tuyên bố.

Cộng sự sáng lập các công ty khởi nghiệp trí tuệ nhân tạo Safe Superintelligence (SSI) và OpenAI, Ilya Sutskever, nhận xét rằng kết quả học tập sử dụng dữ liệu không được đánh dấu với số lượng lớn đã đạt đến đỉnh điểm.

"Những năm 2010 đã là thời kỳ về quy mô, và bây giờ chúng ta lại trở lại thời đại của những phép màu và khám phá. Mọi người đang tìm kiếm cái mới", ông nhấn mạnh.

Sutckever từ chối chia sẻ chi tiết về cách hoạt động của công ty mới của anh ấy SSI, chỉ nhấn mạnh việc có một phương pháp tiếp cận thay thế trong việc mở rộng quy mô đào tạo trước.

Các nguồn tin từ Reuters cho biết, các nhà nghiên cứu tại các phòng thí nghiệm trí tuệ nhân tạo lớn đang gặp phải sự trì hoãn và kết quả không đáng mong đợi trong việc tạo ra một mô hình ngôn ngữ lớn hơn, vượt trội hơn GPT-4 của OpenAI được ra mắt gần hai năm trước.

Họ cố gắng áp dụng kỹ thuật cải thiện mạng nơ-ron trong thời gian giai đoạn được gọi là 'đầu ra'. Ví dụ, thay vì cung cấp một câu trả lời, trí tuệ nhân tạo trước tiên tạo ra một số lựa chọn và chọn ra cái tốt nhất

Nhắc lại, vào tháng 10, truyền thông thông báo về việc OpenAI đang làm việc trên một chip trí tuệ nhân tạo riêng của họ.