Nghiên cứu của 2 sinh viên trường ĐH Bách khoa (ĐHQG TP. HCM) được công bố tại Hội nghị về AI hàng đầu thế giới

Nghiên cứu về mô hình đa ngôn ngữ huấn luyện AI tạo câu đồng nghĩa là sự tiếp tục phát triển đồ án tốt nghiệp của Minh Khôi và Khánh Trình, hai sinh viên mất khoảng 8 tháng để có thể hoàn thiện nghiên cứu. Quá trình thực hiện nghiên cứu gặp khá nhiều thử thách, một trong những vấn đề lớn nhất mà nhóm cố gắng vượt qua là giải quyết bài toán có thể áp dụng trong các trường hợp thực tế. Hướng nghiên cứu của Minh Khôi và Khánh Trình tiếp cận đến những ngôn ngữ ít tài nguyên, trong quá trình làm việc, một số mô hình ngôn ngữ lớn như Chat GPT gặp một số vấn đề đối với những ngôn ngữ ít tài nguyên, ví dụ như tiếng Indonesia, tiếng Kazakhstan… Nhận thấy vấn đề này, nhóm đã quyết định phát triển một phương pháp để làm sao mà không phụ thuộc quá nhiều vào tài nguyên ngôn ngữ và vẫn sinh ra được một câu tương đối giống với một câu người bản xứ nói.

Nói thêm về nghiên cứu, Khánh Trình cho biết, mọi người thường dùng những từ đồng nghĩa với những từ trong câu để tạo ra một câu khác, trong tiếng Anh có “soccer” thay thế “football” chẳng hạn, đó là cách thông thường. Để đa dạng quá trình tạo câu đồng nghĩa hơn, Trình và Khôi đã sử dụng phương pháp đào tạo đối nghịch để có chất lượng đầu ra tốt hơn. “Có thể câu đồng nghĩa sinh ra chưa sát vì nó bị thay đổi nhiều, vì vậy, trong quá trình huấn luyện, chúng mình có thực hiện một số kỹ thuật bên AI về huấn luyện đối nghịch và thêm các biến số chặn trên và chặn dưới của sự ngẫu nhiên để câu sinh ra không vượt qua khỏi phạm vi đã đề ra”, Trình nói thêm.

Minh Khôi (trái) và Khánh Trình trong buổi bảo vệ đồ án tốt nghiệp. (Ảnh: NVCC)

Mỗi thứ tiếng trên thế giới sẽ có những điểm đặc biệt khác nhau, tính khách quan đối với mô hình nghiên cứu cũng khác nhau. Với tiếng Việt, nhóm cho biết cái khó của tiếng Việt là dấu câu, tất cả các từ ngữ tiếng Việt đều có một âm tiết, lúc tiền xử lý dữ liệu khó hơn các thứ tiếng khác. Ví dụ như từ “nhà hàng”, tiếng Việt cần hai từ “nhà” và “hàng” thì tiếng Anh chỉ cần một từ là “restaurant”. Vì thế, thông thường, tiếng Việt có số lượng từ nhiều hơn tiếng Anh, tiếng Việt khó ở chỗ có dấu, nếu không gõ dấu thì nó cũng chỉ như chuỗi ký tự Latinh, như tiếng Anh bình thường. Khi có dấu, sẽ khó tiến hành các bước tiền xử lý để mô hình học tốt hơn. Nhưng may mắn, nhóm đã tìm được hướng giải quyết thông qua huấn luyện đối nghịch, và kết quả cho ra tốt hơn các phương pháp trước đó.

Để có thể kiểm tra chất lượng đầu ra của nghiên cứu, nhóm đã liên hệ với những chuyên gia ngôn ngữ để có thể nhận được những đánh giá cụ thể dựa trên ba tiêu chí: tính trôi chảy, ngữ nghĩa và đa dạng từ vựng. Kết quả đánh giá đạt 4,2 - 4,7 trên thang điểm 5.

Minh Khôi và Khánh Trình chụp hình cùng PGS. TS Quản Thành Thơ - Phó Trưởng khoa Khoa học và Kỹ thuật Máy tính, trường ĐH Bách khoa, ĐHQG TP. HCM trong Lễ tốt nghiệp. (Ảnh: NVCC)

Chia sẻ về cảm xúc của mình khi nghiên cứu được công bố tại hội nghị AAAI, Trình và Khôi không khỏi bất ngờ và xúc động khi đạt được thành tựu to lớn này. Về những ấp ủ trong tương lai với nghiên cứu, hai nam sinh Bách khoa cho biết, nhóm tiến hành tổng hợp thêm một số ngôn ngữ khác, hướng tới bộ dữ liệu khổng lồ là Wikipedia nhưng đây là một dự án mở, tất cả mọi người đều có thể đóng góp nội dung, chất lượng nội dung là điều đáng lo ngại. Nguồn thứ hai mà nhóm quan tâm, đó là các bài báo, bởi hầu hết các quốc gia đều có tòa soạn báo và chất lượng kiểm duyệt của các tòa soạn báo sẽ tốt hơn. Khôi cho biết: “Sau khi nghiên cứu được ra mắt, nhiều công trình nghiên cứu khác ra đời bổ sung nhiều thứ tiếng thuộc khu vực miền nam châu Mỹ, nhóm nhận thấy những thứ tiếng này có mức độ ảnh hưởng nhất định nên trong tương lai có thể sẽ thêm vào để có thể mở rộng tập ngôn ngữ”.

Hiện tại, Khánh Trình và minh Khôi hiện đang làm việc tại các công ty lớn và công việc hằng ngày là nghiên cứu trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên. Được biết, cả hai đều dự định sẽ học lên cao, tiếp tục con đường nghiên cứu về trí tuệ nhân tạo để có thể mang lại những công trình nghiên cứu chất lượng.

Ngọc Lân