Các mô hình AI bị mắc kẹt trong việc suy nghĩ quá mức, Nvidia, Google và Foundry tìm ra cách khắc phục

Các mô hình suy luận như o1 của OpenAI hay DeepSeek-R1 được huấn luyện để tự kiểm tra logic và câu trả lời của mình. Song nếu chúng làm việc đó quá lâu, chất lượng phản hồi sẽ bắt đầu suy giảm.

“Càng suy nghĩ lâu, mô hình càng dễ trả lời sai vì nó bị mắc kẹt (bị rối và mất phương hướng)”, Jared Quincy Davis, người sáng lập kiêm Giám đốc điều hành công ty khởi nghiệp Foundry, nói với trang Insider.

“Điều đó giống như một học sinh đang làm bài kiểm tra nhưng mất 3 tiếng chỉ để làm câu đầu tiên. Đó là suy nghĩ quá mức, bị mắc kẹt vào một vòng lặp”, Quincy Davis nói thêm.

Foundry hoạt động trong lĩnh vực trí tuệ nhân tạo (AI), tập trung vào việc phát triển các công cụ và framework giúp cải thiện hiệu suất và cách vận hành của các mô hình ngôn ngữ lớn. Framework trong lĩnh vực công nghệ, đặc biệt là lập trình và AI, có thể được hiểu đơn giản là bộ khung phần mềm, tức một tập hợp các công cụ, thư viện, quy tắc và cấu trúc có sẵn giúp lập trình viên hoặc nhà phát triển xây dựng ứng dụng nhanh hơn và hiệu quả hơn.

Quincy Davis cùng các nhà nghiên cứu từ Nvidia, Google, IBM, Học viện Công nghệ Massachusetts (MIT), Đại học Stanford, DataBricks và nhiều đơn vị khác hôm 8.4 đã ra mắt một framework mã nguồn mở được gọi là Ember, có thể báo hiệu giai đoạn tiếp theo của các mô hình ngôn ngữ lớn.

Mô hình o1 của OpenAI và Deepseek-R1 có thể hưởng lợi từ việc trả lời cùng một câu hỏi nhiều lần và chọn ra đáp án tốt nhất - Ảnh: Getty Images

Databricks là công ty phần mềm có trụ sở tại thành phố San Francisco (Mỹ), chuyên cung cấp nền tảng dữ liệu và AI hợp nhất. Được thành lập vào năm 2013, Databricks cung cấp một nền tảng đám mây giúp các tổ chức xây dựng, triển khai và quản lý các giải pháp dữ liệu và AI ở quy mô lớn.

Nền tảng của Databricks kết hợp các chức năng của kho dữ liệu (data warehouse) và hồ dữ liệu (data lake) trong một kiến trúc gọi là lakehouse. Điều này cho phép các tổ chức quản lý và sử dụng cả dữ liệu có cấu trúc và không có cấu trúc cho các phân tích kinh doanh truyền thống cũng như những ứng dụng AI.

Hiện nay, hơn 10.000 tổ chức trên toàn thế giới, gồm cả hơn 60% các công ty trong danh sách Fortune 500, sử dụng nền tảng của Databricks để kiểm soát dữ liệu và ứng dụng AI.

Databricks cũng phát triển các dự án mã nguồn mở như Delta Lake, MLflow và Koalas, hỗ trợ trong các lĩnh vực kỹ thuật dữ liệu, khoa học dữ liệu và học máy.

Suy nghĩ quá mức, hiệu suất giảm dần

Khái niệm "suy nghĩ quá mức" có thể dường như mâu thuẫn với một bước đột phá khác trong cải tiến mô hình: Mở rộng trong thời gian suy luận. Chỉ vài tháng trước, các mô hình AI mất thêm chút thời gian để đưa ra câu trả lời sâu sắc hơn đã được một số nhân vật nổi tiếng trong giới AI, chẳng hạn Jensen Huang (Giám đốc điều hành Nvidia), ca ngợi là tương lai của sự cải tiến.

Quincy Davis nói các mô hình suy luận và mở rộng thời gian suy luận vẫn là một bước tiến lớn, nhưng các nhà phát triển trong tương lai có thể sẽ nghĩ khác về cách sử dụng chúng cũng như toàn bộ hệ sinh thái mô hình AI.

Quincy Davis và đội ngũ Ember đang chính thức hóa cấu trúc xung quanh một khái niệm mà ông cùng nhiều nhà nghiên cứu AI khác đã thử nghiệm nhiều tháng qua.

9 tháng trước, một khoảng thời gian rất dài trong thế giới học máy, Quincy Davis đã mô tả một thủ thuật của mình gọi là calling (gọi), tức hỏi ChatGPT cùng một câu nhiều lần và chọn ra phần trả lời hay nhất.

Giờ đây, các nhà nghiên cứu về Ember đang tăng tốc phương pháp đó, hình dung ra những hệ thống hợp nhất trong đó mỗi câu hỏi hay nhiệm vụ sẽ gọi một tập hợp các mô hình, mỗi cái suy nghĩ trong khoảng thời gian khác nhau, tùy theo điều gì là tối ưu cho từng mô hình và từng câu hỏi.

“Hệ thống của chúng tôi là một framework để xây dựng các mạng lưới này, chẳng hạn tổng hợp rất nhiều lần gọi thành một hệ thống rộng hơn có tính chất riêng. Đây là một ngành khoa học mới mà tôi nghĩ đã chuyển từ nghiên cứu sang thực tiễn rất nhanh”, Quincy Davis nói.

Trong tương lai, mô hình AI sẽ chọn bạn

Khi con người suy nghĩ quá mức, các nhà trị liệu có thể khuyên chúng ta chia nhỏ vấn đề và giải quyết từng phần một. Ember chia sẻ một phần lý thuyết đó, nhưng xử lý theo hướng hoàn toàn khác.

Hiện tại, khi đăng nhập vào Perplexity hay ChatGPT, bạn sẽ chọn mô hình AI bằng menu thả xuống hoặc công tắc chuyển đổi. Quincy Davis cho rằng điều đó sẽ không còn kéo dài lâu nữa, khi các công ty AI theo đuổi những chiến lược phức tạp hơn bằng cách chuyển các câu hỏi qua nhiều mô hình với số lượng và thời gian gọi khác nhau, xử lý chúng theo cách thông minh và tối ưu hơn để cho ra câu trả lời tốt nhất.

“Bạn có thể hình dung, thay vì chỉ một triệu lần gọi thì có thể là 1.000 tỉ hoặc 1 triệu tỉ lần gọi. Bạn phải sắp xếp các lần gọi đó. Bạn phải chọn mô hình cho từng lần gọi. Mỗi lần gọi nên là GPT-4? Hay một số lần gọi nên dùng GPT-3? Một số lần khác có nên gọi Anthropic, Gemini hoặc DeepSeek? Các lời nhắc cho mỗi lần gọi nên là gì?”, Quincy Davis giải thích.

Đây là cách suy nghĩ đa chiều hơn rất nhiều so với dạng hỏi-đáp đơn giản mà chúng ta đã quen thuộc. Nó sẽ cực kỳ quan trọng khi chúng ta bước vào thời đại của các tác tử AI, thực hiện nhiệm vụ mà không cần sự can thiệp của con người.

Quincy Davis so sánh các hệ thống AI hợp nhất này với kỹ thuật hóa học. “Đây là một ngành khoa học mới”, ông nói.

Sơn Vân