Apple muốn thu nhỏ mô hình AI để chạy độc lập trên iPhone

Apple đang đàm phán ban đầu với PrismML, một công ty khởi nghiệp ở Thung lũng Silicon để nén các mô hình AI mạnh mẽ để chúng có thể chạy trực tiếp trên iPhone.

Apple đang trong giai đoạn đàm phán ban đầu với PrismML, một công ty khởi nghiệp ở Thung lũng Silicon được tách ra từ Viện Công nghệ California và được Khosla Ventures hậu thuẫn, về công nghệ có thể giảm đáng kể kích thước của các mô hình AI mạnh mẽ để chúng có thể chạy trực tiếp trên iPhone.

PrismML mới đây đã thông báo rằng họ đã nén mô hình Qwen mã nguồn mở gồm 27 tỷ tham số của Alibaba từ khoảng 54 GB xuống còn dưới 4 GB, cho phép tất cả 27 tỷ tham số chạy trên iPhone 15 trở lên.

Apple kỳ vọng PrismML sẽ nén các mô hình AI mạnh mẽ để có thể chạy cục bộ trên iPhone.

Apple kỳ vọng PrismML sẽ nén các mô hình AI mạnh mẽ để có thể chạy cục bộ trên iPhone.

Theo công ty, phương pháp nén của họ giúp giảm mức sử dụng bộ nhớ từ 10 đến 15 lần, tăng tốc độ xử lý từ 6 đến 8 lần và giảm mức tiêu thụ năng lượng từ 3 đến 6 lần, trong khi chỉ làm giảm một vài phần trăm hiệu năng tổng thể, với khả năng ghi nhớ thực tế giảm nhiều hơn so với khả năng suy luận, toán học và lập trình.

Theo các nguồn tin, Apple đang đánh giá tốc độ, hiệu quả năng lượng và hiệu năng trên thiết bị của công nghệ này như một phần trong nỗ lực rộng lớn hơn nhằm cải thiện Siri và mở rộng khả năng trí tuệ nhân tạo (AI) trên thiết bị.

Việc chạy nhiều AI cục bộ hơn có thể mang lại phản hồi nhanh hơn, tăng cường quyền riêng tư của người dùng bằng cách giữ nhiều dữ liệu nhạy cảm hơn trên thiết bị, giảm sự phụ thuộc vào điện toán đám mây và cho phép một số tính năng AI hoạt động mà không cần kết nối internet.

Mô hình AI hơn 27 tỷ tham số có dung lượng 54 GB được nén xuống còn dưới 4 GB.

Mô hình AI hơn 27 tỷ tham số có dung lượng 54 GB được nén xuống còn dưới 4 GB.

Các nhà phân tích cho rằng phương pháp này có thể hỗ trợ các ứng dụng tiên tiến hơn, bao gồm nhiếp ảnh điện toán, tạo video và các công cụ sức khỏe và thể dục xử lý thông tin cá nhân.

Tuy nhiên, họ cảnh báo rằng những tuyên bố của PrismML vẫn cần được kiểm chứng thông qua thử nghiệm thực tế quy mô lớn, đặc biệt là về thời lượng pin, độ tin cậy và hiệu suất trên hàng triệu thiết bị.

Nếu công nghệ này hoạt động như tuyên bố, nó có thể giúp Apple thúc đẩy chiến lược trí tuệ nhân tạo (AI) của mình đồng thời củng cố sự chú trọng vào quyền riêng tư và sự tích hợp phần cứng-phần mềm.

Bước đột phá này có thể chuyển phần lớn quá trình xử lý AI từ các trung tâm dữ liệu sang các thiết bị cá nhân, mặc dù các chuyên gia lưu ý rằng điều này khó có thể làm giảm nhu cầu tổng thể đối với bộ xử lý và chip nhớ.

Siri mới trên Apple iPhone thông minh hơn với sự hỗ trợ của Gemini.

Tuệ Minh

Nguồn Tri Thức & Cuộc Sống: https://kienthuc.net.vn/apple-muon-thu-nho-mo-hinh-ai-de-chay-doc-lap-tren-iphone-post1624403.html