Amazon Bedrock của AWS chính thức tích hợp mô hình Kimi K3

Theo thông báo của AWS, Amazon Bedrock đã đưa Kimi K3 vào trạng thái phát hành chính thức cho tất cả người dùng, mở rộng danh mục mô hình trọng số mở trên nền tảng với các cơ chế bảo mật và quản trị hiện có.

Kimi K3 là mô hình ngôn ngữ lớn do Moonshot AI phát triển. Moonshot AI có tên tiếng Trung là Nguyệt Chi Ám Diện, mang nghĩa “mặt tối của mặt trăng”. Việc tích hợp Kimi K3 bổ sung thêm một lựa chọn mô hình phục vụ các tác vụ lập trình trên Amazon Bedrock.

Mô hình Kimi K3 của Moonshot AI chính thức có mặt trên nền tảng Amazon Bedrock

Theo Moonshot AI, Kimi K3 là mô hình có năng lực cao nhất mà hãng từng phát triển và là mô hình mở đầu tiên trên thế giới đạt quy mô 2,8 nghìn tỷ tham số. Mô hình được thiết kế với khả năng xử lý hình ảnh ngay từ gốc và cửa sổ ngữ cảnh lên tới 1 triệu token, cho phép xử lý các phiên lập trình kéo dài trên kho mã nguồn lớn, phân tích đồng thời nhiều tài liệu gồm trang giấy được quét và ảnh chụp màn hình, đồng thời duy trì chuỗi tác vụ của tác tử AI trong thời gian dài.

Moonshot AI cho biết hiệu quả mở rộng quy mô của Kimi K3 cao hơn khoảng 2,5 lần so với thế hệ Kimi K2 trước đó. Quy mô tham số lớn, khả năng xử lý hình ảnh tích hợp và cửa sổ ngữ cảnh lên tới một triệu token cho thấy Moonshot AI hướng Kimi K3 vào các tác vụ đòi hỏi xử lý lượng thông tin lớn, đặc biệt trong lập trình và xử lý tài liệu, nơi mô hình phải duy trì lượng ngữ cảnh lớn trong suốt quá trình làm việc mà vẫn giữ được mạch lập luận.

Trên Amazon Bedrock, Kimi K3 được vận hành trong cùng môi trường bảo mật với các mô hình độc quyền, đồng thời áp dụng chung các cơ chế kiểm soát quyền truy cập, mã hóa và kiểm toán mà doanh nghiệp đang sử dụng cho toàn bộ danh mục mô hình. Nhờ đó, doanh nghiệp có thể đưa một mô hình mở vào hệ thống theo các quy định quản trị hiện có, không phải xây dựng thêm cơ chế kiểm soát riêng cho từng mô hình.

AWS cũng xác nhận Kimi K3 là mô hình trọng số mở đầu tiên trên Amazon Bedrock hỗ trợ bộ nhớ đệm câu lệnh tường minh (explicit prompt caching). Khi nhiều lượt gọi mô hình sử dụng lại cùng một phần ngữ cảnh, tính năng này giúp giảm độ trễ và chi phí xử lý dữ liệu đầu vào. Điều này đặc biệt hữu ích với các phiên lập trình kéo dài, khi mô hình phải nhiều lần truy xuất cùng một kho mã nguồn.

Kimi K3 hiện được cung cấp tại tất cả các khu vực AWS hỗ trợ Amazon Bedrock thông qua cơ chế suy luận liên vùng, cho phép khách hàng tại các khu vực này sử dụng mô hình ngay. Người dùng có thể bắt đầu từ bảng điều khiển Amazon Bedrock Console, đồng thời tham khảo tài liệu hướng dẫn và bài blog giới thiệu Kimi K3 do AWS công bố.

Amazon Bedrock bổ sung Kimi K3 cho thấy AWS tiếp tục mở rộng danh mục mô hình trọng số mở, đồng thời duy trì các cơ chế bảo mật và quản trị chung trên nền tảng. Với người dùng, sự xuất hiện của Kimi K3 bổ sung thêm một lựa chọn có quy mô 2,8 nghìn tỷ tham số, cùng khả năng xử lý hình ảnh và cửa sổ ngữ cảnh lên tới một triệu token. Những đặc điểm này cho phép mô hình đáp ứng các tác vụ lập trình và xử lý tài liệu đòi hỏi xử lý lượng thông tin lớn.