Chi phí sử dụng AI có thể cao hơn với người dùng 'dốt' tiếng Anh

Những người sử dụng các ngôn ngữ ít phổ biến trên thế giới có thể phải trả nhiều tiền hơn để sử dụng trí tuệ nhân tạo (AI) so với những người nói tiếng Anh hoặc các ngôn ngữ phổ biến khác.

Một nghiên cứu mới được Liên minh vì Công bằng Ngôn ngữ trong Nghiên cứu AI (Coalition for Language Equity in AI Research) công bố gần đây cho thấy các mô hình AI cần nhiều token hơn đáng kể khi xử lý một số loại ngôn ngữ.

Token là đơn vị văn bản hoặc dữ liệu mà các mô hình AI xử lý. Các nhà nghiên cứu gọi đây là khoản “thuế token” vô hình, có thể khiến việc sử dụng AI bằng những ngôn ngữ có sự hiện diện hạn chế trên Internet trở nên đắt đỏ hơn. Tokenizer là công cụ phân tách văn bản, hình ảnh hoặc âm thanh thô thành các token để mô hình AI xử lý.

Nghiên cứu cho thấy ngay cả trong số 20 ngôn ngữ phổ biến nhất trên Internet, mức độ sử dụng token cũng có sự chênh lệch. Ngôn ngữ có chi phí xử lý cao nhất cần số token nhiều gấp 1,5 - 5 lần so với ngôn ngữ có chi phí thấp nhất. Khoảng cách này còn lớn hơn khi các nhà nghiên cứu mở rộng phạm vi khảo sát lên 200 ngôn ngữ. Với một mô hình AI, mức chênh lệch về chi phí token tăng lên tới 17 lần.

“Nghiên cứu chỉ ra rằng một công ty khởi nghiệp tại Bengaluru có thể phải trả thêm chi phí cho mỗi câu lệnh đầu vào và phần nội dung AI tạo ra, trong khi đối thủ cạnh tranh của họ tại Austin (Mỹ) không phải chịu khoản phí này. Bất bình đẳng về tokenizer còn gây ra những hệ quả vượt xa vấn đề chi phí. Số lượng token cao hơn đồng nghĩa với độ trễ lớn hơn và dung lượng ngữ cảnh thực tế bị thu hẹp. Những bất lợi này tác động nặng nề nhất đến các khu vực vốn đã hạn chế về năng lực tính toán và kết nối Internet. Sự bất bình đẳng trong xử lý token đang trở thành rào cản đối với khả năng tham gia nền kinh tế AI”, nghiên cứu nhận định.

Theo ông Pratyush Choudhury, đồng sáng lập Activate AI - quỹ đầu tư mạo hiểm đầu tiên tại Ấn Độ chỉ tập trung vào lĩnh vực AI - các ngôn ngữ không phải tiếng Anh chiếm nhiều dung lượng hơn, khiến người dùng có ít không gian hơn để lưu trữ tài liệu hoặc lịch sử hội thoại, đồng thời đòi hỏi mô hình phải xử lý nhiều hơn để tạo ra câu trả lời.

Tỷ lệ tối đa/tối thiểu cho biết ngôn ngữ tiêu tốn nhiều token nhất cần số token gấp bao nhiêu lần so với ngôn ngữ tiết kiệm token nhất để xử lý cùng một nội dung

Một trong những cách cải thiện khả năng xử lý ngôn ngữ là nâng cao chất lượng dữ liệu nền tảng. “Các sáng kiến dữ liệu mở đóng vai trò quan trọng trong vấn đề này. Một ví dụ là RESPIN, sáng kiến hợp tác với Viện Khoa học Ấn Độ (Indian Institute of Science) và được Quỹ Gates tài trợ. Trong khuôn khổ dự án, chúng tôi đã thu thập văn bản do người bản ngữ của 38 phương ngữ cung cấp, cùng với các bản ghi âm đọc văn bản”, ông Raoul Nanavati, đồng sáng lập kiêm Giám đốc điều hành Navana.ai, một công ty khởi nghiệp về hạ tầng AI giọng nói có trụ sở tại Mumbai, nói với Rest of World.

Tuy nhiên, nghiên cứu của Liên minh vì Công bằng Ngôn ngữ trong Nghiên cứu AI cho thấy mức độ phổ biến của một ngôn ngữ không phải là yếu tố duy nhất quyết định số lượng token cần sử dụng. Hệ chữ viết cũng đóng vai trò quan trọng.

Tiếng Asturian, dù có tương đối ít người sử dụng và không có dữ liệu trên Common Crawl, vẫn được hưởng lợi từ ưu thế của hệ chữ Latin, cũng như sự hiện diện của các ngôn ngữ Roman có liên quan như tiếng Italy. Trong khi đó, những ngôn ngữ sử dụng hệ chữ viết mà tokenizer hiếm khi được tiếp xúc, gồm tiếng Myanmar, tiếng Tây Tạng, chữ Tifinagh, tiếng Khmer, tiếng Lào và chữ Ol Chiki, luôn chịu bất lợi lớn nhất trong hầu hết các mô hình được phân tích.

Ông Dheemanth Reddy, Giám đốc điều hành công ty phát triển các mô hình AI hội thoại Maya Research cho biết nhiều tokenizer hiện nay vẫn được tối ưu hóa quá mức cho tiếng Anh và các ngôn ngữ có nguồn dữ liệu dồi dào. Vấn đề cốt lõi nằm ở sự thiếu hụt dữ liệu số chất lượng cao. Tuy nhiên, ông cảnh báo rằng chỉ cải thiện dữ liệu huấn luyện là chưa đủ để giải quyết vấn đề tokenizer.

“Giá token đang giảm nhanh, vì vậy tác động trực tiếp đến chi phí sẽ bớt nghiêm trọng hơn theo thời gian. Dữ liệu đa ngôn ngữ và dữ liệu tổng hợp tốt hơn cũng sẽ giúp cải thiện chất lượng mô hình. Nhưng để thực sự thu hẹp khoảng cách trong quá trình phân tách token, các phòng nghiên cứu vẫn cần chủ động thiết kế những tokenizer thế hệ mới có khả năng xử lý tốt hơn các ngôn ngữ và hệ chữ viết này”, ông Reddy nói.

Bản thân ông Pratyush Choudhury cho rằng hiệu quả xử lý ngôn ngữ cần được xem là một yêu cầu bắt buộc khi phát triển sản phẩm, ngang hàng với độ chính xác, tốc độ và độ tin cậy. “Có thể rất khó đạt được sự bình đẳng tuyệt đối. Tuy nhiên, những chênh lệch lớn và kéo dài vẫn cần được giải thích, đồng thời phải đi kèm kế hoạch cải thiện. Tôi cho rằng mọi phòng nghiên cứu lớn đều nên công bố bảng đánh giá theo từng ngôn ngữ, cho thấy chi phí cần thiết để hoàn thành thành công các tác vụ tương đương, đồng thời cam kết những cải thiện có thể đo lường được đối với các ngôn ngữ đang bị phục vụ kém nhất”, ông kết luận.