Elon Musk tiết lộ chi phí đắt đỏ để huấn luyện siêu AI

Elon Musk tiết lộ chatbot Grok được huấn luyện bằng số chip trị giá 3-4 tỷ USD. Ảnh: Fast Company.

Trả lời trên mạng xã hội X, tỷ phú Elon Musk tiết lộ start-up AI của riêng ông, xAI, đang đào tạo phiên bản thứ 3 của mô hình Grok bằng số lượng tài nguyên khổng lồ lên đến 100.000 GPU H100 của Nvidia.

H100 là con chip mạnh nhất của Nvidia đồng thời sản phẩm công nghệ “hot” nhất năm 2023. Với 80 tỷ bóng bán dẫn, đây là công cụ mạnh nhất hiện có để chạy các mô hình ngôn ngữ lớn như GPT, nền tảng cho các ứng dụng như ChatGPT hay Bard. CEO Huang Jensen còn gọi H100 là “iPhone của lĩnh vực AI”.

H100 cũng là một trong những bộ xử lý đắt nhất của Nvidia, khi có giá khoảng 40.000 USD mỗi chiếc. Điều này đồng nghĩa với việc Grok 3 đang được đào tạo bằng số lượng chip AI trị giá từ 3-4 tỷ USD.

Số lượng lên tới 100.000 GPU cũng là bước tiến lớn của Grok 3 so với Grok 2. Trước đó, trong một cuộc phỏng vấn hồi tháng 4 với Nicolai Tangen, Giám đốc điều hành của Norges Bank Investment Management, Musk tiết lộ Grok 2 chỉ cần khoảng 20.000 GPU H100 để đào tạo.

X.AI Corp được tiếp thị đến nhiều nhà đầu tư ở Thung lũng Silicon bằng cách giới thiệu về thành tích Musk tại Tesla Inc. và SpaceX. Tài liệu quảng cáo nhấn mạnh xAI và chatbot Grok có thể sử dụng dữ liệu chất lượng cao từ X, nền tảng mạng xã hội được Musk đổi tên từ Twitter.

Cho đến nay, xAI đã phát hành hai phiên bản Grok-1 và Grok-1.5, với phiên bản mới nhất chỉ dành cho những người đăng ký tham gia thử nghiệm sớm và người dùng hiện tại trên X. Theo CEO Tesla, thế hệ Grok 2 sẽ ra mắt vào tháng 8 và đến cuối năm là Grok 3.

Con số 100.000 GPU nghe có vẻ nhiều nhưng không phải vô lý. Một gã khổng lồ công nghệ là Meta thậm chí còn tích trữ số lượng chip AI này nhiều hơn cả Tesla.

Cụ thể, CEO Mark Zuckerberg đã nói vào tháng 1 rằng Meta sẽ mua khoảng 350.000 GPU H100 vào cuối năm 2024. Ông cũng cho biết Meta sẽ sở hữu số lượng chip lên tới 600.000, bao gồm cả các dòng GPU khác.

Anh Tuấn