Thử nghiệm gây chấn động giới AI

Andrej Karpathy đang là nhà nghiên cứu tự do và nhà sáng lập Eureka Labs. Ảnh: The Information.

Andrej Karpathy, nhà nghiên cứu AI nổi tiếng từng làm từ những ngày đầu của OpenAI và sau đó tại Tesla, đang được chú ý trên X. Hiện tại, ông sở hữu 1,9 triệu người theo dõi trên X, với những phát ngôn về AI đầy uy tín, được xem như lời tiên tri.

Bài đăng đang lan truyền nói về thí nghiệm sử dụng một tác tử AI coding để chạy hàng loạt thử nghiệm nhằm tìm cách cải thiện quá trình huấn luyện một mô hình ngôn ngữ nhỏ. Ông để AI agent hoạt động liên tục trong hai ngày, đủ thời gian tiến hành 700 thử nghiệm khác nhau.

Qua các thử nghiệm này, hệ thống phát hiện ra 20 cách tối ưu giúp cải thiện thời gian huấn luyện. Kết quả trên được gọi là “autoresearch”, giúp tăng hiệu suất huấn luyện lên 11% khi áp dụng cho mô hình ngôn ngữ lớn hơn.

Tobias Lütke, CEO của Shopify, chia sẻ trên X mình đã thử dùng “autoresearch” để tối ưu một mô hình AI dựa trên dữ liệu nội bộ của công ty. Lütke cho biết sau khi để hệ thống chạy qua đêm đã thực hiện 37 thử nghiệm và mang lại mức tăng hiệu suất 19%.

Nhiều người chú ý đến “autoresearch” do gần giống với ý tưởng hệ thống AI tự cải thiện, một khái niệm chỉ có trong khoa học viễn tưởng. Trong khi một số nhà nghiên cứu khao khát hiện thực hóa, số khác lo ngại về viễn cảnh khi AI có thể tự nâng cấp.

Với khả năng trên, AI có thể liên tục tối ưu chính mã nguồn và quá trình huấn luyện của mình theo vòng lặp. Điều này có thể dẫn đến điều các nhà nghiên cứu an toàn AI gọi là bùng nổ trí tuệ (intelligence explosion), khi máy móc vượt qua khả năng nhận thức của con người và thoát khỏi sự kiểm soát.

Tuy nhiên, thí nghiệm của Andrej Karpathy chưa đạt đến mức đó. AI agent trong hệ thống “autoresearch” chỉ đang điều chỉnh mã huấn luyện và thiết lập ban đầu của một mô hình AI khác nhỏ và kém phức tạp hơn nhiều.

Hệ thống AI chưa đủ sức để tự hoàn thiện chính mình. Dù vậy, Karpathy cũng nhấn mạnh rằng thí nghiệm này có ý nghĩa lớn đối với cách các phòng lab AI làm nghiên cứu trong tương lai, và có thể góp phần tăng tốc đáng kể tiến trình phát triển của họ.

“Các phòng lab LLM hàng đầu rồi cũng sẽ làm điều này”, Andrej Karpathy viết trên X. Ông thừa nhận rằng ở quy mô lớn đòi hỏi nhiều công cụ, vì hệ thống của ông chỉ cần xử lý việc tinh chỉnh một mô hình và quy trình huấn luyện gói gọn trong 630 dòng code Python.

Karpathy nói thêm rằng thực hiện “autoresearch” chỉ cần đáp ứng yêu cầu kỹ thuật. “Bạn giao nhiệm vụ một bầy agent để chúng phối hợp và tinh chỉnh các mô hình nhỏ, sau đó đưa ý tưởng để thử nghiệm quy mô lớn hơn, và con người chỉ cần tham gia ở rìa”, ông viết.

Janakiram MSV, nhà phân tích chính tại Janakiram & Associates, chỉ ra rằng thành phần cốt lõi của “autoresearch” có thể được áp dụng cho nhiều hệ thống agent khác nhau. Ông xem bài viết của Karpathy như bản thực hành tốt nhất cho những ai làm việc với AI agent, với file hướng dẫn mô tả rõ ràng nhiệm vụ, ràng buộc, những điều agent không được làm, và điều kiện dừng.

Tuy nhiên, một số ý kiến chỉ trích cho rằng Karpathy thực chất chỉ tái phát hiện một phần của quy trình AutoML, vốn đã được các công ty như Google hay Microsoft sử dụng trong nhiều năm. AutoML cũng vận hành theo vòng lặp tối ưu và thực hiện hàng loạt thử nghiệm để tìm ra dữ liệu tốt nhất, kiến trúc mô hình phù hợp nhất, và cách tinh chỉnh tối ưu.

Andrej Karpathy phản bác những so sánh với AutoML, cho rằng các phương pháp cũ thực chất kém xa “autoresearch”. Theo ông, những hệ thống trước đây gần như không thể bằng một LLM có thể tự viết code, rút kinh nghiệm từ các thử nghiệm trước và thậm chí truy cập internet để tìm ý tưởng mới.

Nhật Tường