OpenAI có thể xây dựng lại GPT-4 từ đầu chỉ với 5 đến 10 người, nhờ những đột phá của GPT-4.5

Trong một tập podcast do OpenAI phát hành hôm 11.4, Giám đốc điều hành Sam Altman đã đặt câu hỏi cho ba kỹ sư chủ chốt đứng sau GPT-4.5: "Nhóm nhỏ nhất của OpenAI có thể huấn luyện lại GPT-4 từ đầu hiện nay là bao nhiêu người?"

Sam Altman cho biết việc xây dựng GPT-4 từng cần đến "hàng trăm người, gần như toàn bộ nỗ lực của OpenAI" nhưng mọi thứ trở nên dễ dàng hơn nhiều khi mô hình không còn ở vị trí tiên phong nữa.

Sam Altman cho biết việc xây dựng GPT-4 trước đây cần "hàng trăm người, gần như toàn bộ nỗ lực của OpenAI" nhưng nay chỉ cần 5 - 10 người - Ảnh: Getty Images

Alex Paino, người dẫn đầu phần huấn luyện sơ bộ về học máy cho GPT-4.5, nói rằng việc huấn luyện lại GPT-4 hiện nay "có thể chỉ cần" 5 đến 10 người.

"Chúng tôi đã huấn luyện GPT-4o, một mô hình có đẳng cấp tương đương GPT-4. Chúng tôi đã huấn luyện lại nó bằng cách sử dụng rất nhiều thứ từ chương trình nghiên cứu GPT-4.5. Việc huấn luyện đó thực sự chỉ cần một số lượng người ít hơn nhiều", Alex Paino nói.

Daniel Selsam, nhà nghiên cứu tại OpenAI chuyên về hiệu quả dữ liệu và thuật toán, cũng đồng ý rằng việc tái tạo GPT-4 giờ đã dễ hơn rất nhiều.

Hôm tháng 2, OpenAI đã ra mắt GPT-4.5, nói rằng đây là mô hình AI lớn nhất và mạnh mẽ nhất của công ty cho đến nay.

Trên mạng xã hội X, Sam Altman mô tả GPT-4.5 là "mô hình đầu tiên mang lại cảm giác như đang nói chuyện với một người suy nghĩ sâu sắc".

Alex Paino cho biết GPT-4.5 được thiết kế để "thông minh gấp 10 lần" so với GPT-4, vốn đã ra mắt từ tháng 3.2023.

"Chúng tôi đang mở rộng quy mô gấp 10 lần so với trước đây với các đợt huấn luyện sơ bộ cho GPT này", Alex Paino nói.

"Không còn bị giới hạn bởi năng lực tính toán"

Sam Altman cũng cho biết OpenAI hiện không còn bị "giới hạn bởi khả năng tính toán" với những mô hình tốt nhất mà họ có thể tạo ra. Đây là một sự thay đổi mà ông cho rằng thế giới vẫn chưa thực sự nhận ra.

Với nhiều công ty AI, rào cản lớn nhất trong việc xây dựng các mô hình tốt hơn đơn giản là không có đủ năng lực tính toán.

"Đây là một cập nhật điên rồ. Suốt một thời gian dài, chúng ta sống trong thế giới mà năng lực tính toán luôn là yếu tố giới hạn", ông nói thêm.

Các hãng công nghệ đã và đang đổ hàng tỉ USD vào hạ tầng AI. Microsoft, Amazon, Google và Meta Platforms được dự đoán sẽ chi tổng cộng 320 tỉ USD cho chi phí vốn trong năm nay để mở rộng năng lực AI của họ.

Vào tháng 3, OpenAI công bố đã hoàn tất vòng gọi vốn tư nhân lớn nhất từ trước đến nay trong lĩnh vực công nghệ, gồm 30 tỉ USD từ SoftBank và 10 tỉ USD từ các nhà đầu tư khác, đưa định giá công ty lên 300 tỉ USD.

Theo một nguồn tin, SoftBank Group sẽ đóng góp 75% số vốn trong 40 tỉ USD, phần còn lại đến từ Microsoft, Coatue Management, Altimeter Capital và Thrive Capital.

Số vốn mới sẽ giúp OpenAI thúc đẩy nghiên cứu AI, mở rộng cơ sở hạ tầng tính toán và cải thiện các công cụ của mình.

OpenAI đặt mục tiêu cung cấp các công cụ AI ngày càng mạnh mẽ hơn cho 500 triệu người dùng ChatGPT mỗi tuần.

Jensen Huang, Giám đốc điều hành Nvidia, nói trong cuộc họp công bố buổi cáo tài chính vào tháng 2 rằng nhu cầu cho năng lực tính toán AI sẽ chỉ tiếp tục tăng.

"Các mô hình suy luận có thể tiêu thụ lượng tính toán gấp 100 lần. Tương lai, suy luận còn có thể cần nhiều tính toán hơn nữa", Jensen Huang cho biết trong cuộc họp.

Điều cần thiết để đạt đến bước nhảy vọt 10x hay 100x tiếp theo, nhà nghiên cứu Daniel Selsam nói rằng đó là hiệu quả dữ liệu.

Các mô hình GPT rất hiệu quả trong việc xử lý thông tin, nhưng vẫn có một "trần giới hạn về mức độ sâu sắc của hiểu biết mà nó có thể đạt được từ dữ liệu", ông nói.

Daniel Selsam nói rằng, dù máy móc ngày càng mạnh mẽ, nhưng nếu không có đủ dữ liệu chất lượng thì việc huấn luyện AI cũng sẽ bị giới hạn. Lúc này, không phải máy tính quá yếu mà là dữ liệu không đủ để khai thác hết sức mạnh của máy và đó mới là vấn đề.

Để vượt qua điều đó, Daniel Selsam cho rằng sẽ cần "một vài đổi mới về thuật toán" để khai thác nhiều giá trị hơn từ cùng một lượng dữ liệu.

OpenAI sắp phát hành mô hình ngôn ngữ mở

OpenAI đang có kế hoạch phát hành mô hình ngôn ngữ mở đầu tiên của mình với khả năng lập luận kể từ thời GPT-2 (năm 2019) trong những tháng tới, Sam Altman tiết lộ.

Đây là một mô hình ngôn ngữ có trọng số mở với tham số huấn luyện được công khai, cho phép các nhà phát triển phân tích và tinh chỉnh nó cho các tác vụ cụ thể mà không cần dữ liệu huấn luyện gốc.

Nó khác với mô hình nguồn mở, vốn cung cấp đầy đủ mã nguồn, dữ liệu huấn luyện và phương pháp huấn luyện.

Sam Altman cho biết trong một bài đăng trên X rằng công ty sẽ trao đổi với các nhà phát triển về cách làm cho mô hình ngôn ngữ mở trở nên hữu ích.

Sự kiện đầu tiên về mô hình ngôn ngữ mở này sẽ diễn ra tại thành phố San Francisco (Mỹ) trong vài tuần tới, sau đó sẽ có các phiên thảo luận tại châu Âu và khu vực châu Á - Thái Bình Dương.

"Chúng tôi vẫn còn một số quyết định cần đưa ra, nên sẽ tổ chức các sự kiện dành cho nhà phát triển để thu thập ý kiến phản hồi và sau đó thử nghiệm các nguyên mẫu ban đầu", Sam Altman nói.

Vào tháng 2, doanh nhân này từng tuyên bố OpenAI sẽ đơn giản hóa các sản phẩm AI trong lộ trình phát triển các mô hình mới nhất của mình, vì hệ thống hiện tại với nhiều mô hình khác nhau và tùy chọn mô hình gây ra không ít khó khăn cho cả nhà phát triển lẫn người dùng.

"Chúng tôi muốn AI chỉ hoạt động theo cách bạn mong đợi. Chúng tôi nhận ra rằng danh mục mô hình và sản phẩm của mình đã trở nên quá phức tạp. Chúng tôi cũng ghét tùy chọn mô hình như các bạn và muốn quay trở lại với AI thống nhất đầy ma thuật", ông thổ lộ.

OpenAI lên kế hoạch cải tổ mô hình kinh doanh, dự kiến thành lập một công ty vì lợi ích công cộng nhằm thu hút thêm vốn đầu tư, đồng thời cân bằng giữa lợi ích cổ đông và lợi ích xã hội.

Một nguồn tin tiết lộ với Reuters rằng OpenAI phải chuyển đổi thành công ty vì lợi nhuận trước cuối năm nay để đảm bảo gói tài trợ 40 tỉ USD do SoftBank Group dẫn đầu.

Nếu thành công, OpenAI sẽ gia nhập hàng ngũ các công ty tư nhân giá trị nhất thế giới (300 triệu USD), gồm SpaceX, ByteDance và Stripe.

Sơn Vân