Hãng chip AI này đang đe dọa vị thế của Nvidia

Groq đang gây sốt giới công nghệ với hiệu năng vượt trội hoàn toàn những mô hình ngôn ngữ lớn như ChatGPT hay Gemini. Ảnh: Reuters.

Công ty sản xuất chip AI có tên Groq đang gây sốt giới công nghệ với video thử nghiệm cho thấy hiệu năng vượt trội hoàn toàn những mô hình ngôn ngữ lớn như ChatGPT hay Gemini.

Thậm chí, Groq tuyên bố sẽ mang đến “các mô hình ngôn ngữ lớn nhanh nhất thế giới”.

Theo bản demo được đăng trên X, chỉ trong tích tắc, mô hình ngôn ngữ của Groq đã tạo ra hàng trăm từ ngữ cho câu trả lời, đồng thời trích dẫn các nguồn trong quá trình thực hiện.

Tiếp theo, CEO Jonathon Ross cho phép người dẫn chương trình của CNN trò chuyện bằng lời nói theo thời gian thực với một chatbot AI cách đó nửa vòng trái đất ngay trên sóng truyền hình trực tiếp.

Đây được xem là bước tiến lớn bởi một trong những hạn chế đáng kể của các chatbot là không thể bắt kịp lời nói của con người trong thời gian thực.

Theo Gizmodo, Groq tạo ra các chip AI có gọi là đơn vị xử lý ngôn ngữ (LPU), được cho là nhanh hơn bộ xử lý đồ họa (GPU) của Nvidia.

Hiện tại, GPU đang được coi như là tiêu chuẩn công nghiệp để chạy các mô hình AI. Tuy nhiên, một số kết quả ban đầu cho thấy LPU có thể là đối thủ đáng gờm với sản phẩm của Nvidia.

Không giống các chatbot như ChatGPT hay Gemini, Groq là một “công cụ suy luận”. Nó giúp các chatbot này chạy cực kỳ nhanh, nhưng không thay thế chúng hoàn toàn

Theo thử nghiệm của Artificial Analysis, Groq có thể tạo ra 247 token/giây, so với 18 token/giây của Microsoft. Điều này đồng nghĩa với việc ChatGPT có thể nhanh hơn 13 lần nếu chạy trên chip của Groq.

Anh Tuấn