Mô hình ngôn ngữ AI PhởGPT dành riêng cho tiếng Việt

PhởGPT được giới thiệu trong ngày khai mạc AI Day 2023. Ảnh: BTC.

Tại AI Day 2023 diễn ra sáng 5/12, VinAI công bố PhởGPT, dự án mã nguồn mở về mô hình ngôn ngữ lớn, được xây dựng và chuyên dùng cho tiếng Việt.

PhởGPT sử dụng công nghệ GPT (Generative Pre-trained Transformer). So với những mô hình khác, PhởGPT được huấn luyện từ đầu, áp dụng các kỹ thuật như cơ chế tập trung chớp nhoáng (Flash Attention) và ngoại suy độ dài ngữ cảnh ALiBi, giúp hiểu sâu hơn ngữ cảnh và tăng khả năng tương tác tự nhiên với người dùng.

Theo trang dự án PhởGPT trên GitHub, lượng dữ liệu dùng để đào tạo mô hình có dung lượng 41 GB, gồm 1 GB văn bản trên Wikipedia, và 40 GB dữ liệu không trùng lặp từ một bộ dữ liệu tin tức (cập nhật đến ngày 21/5/2021).

Bộ dữ liệu huấn luyện được kết hợp từ nhiều nguồn khác nhau, gồm các từ và cặp từ, lời nói tập trung vào cảm xúc (phần lớn bằng tiếng Việt), cặp dữ liệu để trả lời câu hỏi dựa trên ngữ cảnh, viết thơ, viết luận, sửa chính tả và tóm tắt nội dung.

Trang chủ dự án PhởGPT trên GitHub.

Đại diện công ty cho biết PhởGPT có khả năng hiểu và viết văn phong tiếng Việt tốt hơn so với các công nghệ ngôn ngữ thế hệ cũ. Tuy nhiên, mô hình này còn một số hạn chế trong việc đưa ra lý luận, mã hóa hoặc toán học. Ngoài ra, PhởGPT đôi khi có thể đưa ra phát ngôn độc hại, thù địch hoặc mang hướng thiên vị.

Khác với phần mềm dạng đóng như ChatGPT, PhởGPT là dự án mã nguồn mở, được phát hành công khai cho cộng đồng phát triển. Bằng cách sử dụng PhởGPT, người dùng có thể tự phát triển ứng dụng AI tùy chỉnh, đặc biệt là những app đòi hỏi bảo mật cao, không phụ thuộc vào API từ các mô hình đóng.

Không chỉ phục vụ tiếng Việt, đội ngũ phát triển PhởGPT đang cải tiến mô hình và mở rộng dự án cho những ngôn ngữ khác, đặc biệt trong khu vực Đông Nam Á.

Diễn ra trong 2 ngày 5-6/12, AI Day 2023 gồm 4 phiên thảo luận chính, gồm “Tương lai của mô hình ngôn ngữ lớn (LLMs)”, “Định hình lại tầm nhìn về tương lai trí tuệ nhân tạo”, “Tác động toàn cầu của trí tuệ nhân tạo tạo sinh GenAI” và “Tiềm năng của AI trong nền kinh tế Đông Nam Á”. Trong đó, AI tạo sinh là chủ đề nóng, được quan tâm bởi tính thiết thực và công năng.

Phúc Thịnh