Trí tuệ nhân tạo: Cảnh báo AI tự hành gây rủi ro cho doanh nghiệp

Vấn đề không chỉ nằm ở kết quả cuối cùng mà còn ở cách AI thực hiện nhiệm vụ và những quy trình bảo vệ bị bỏ qua.

Theo phóng viên TTXVN tại Tel Aviv, ông Oriel Vaturi, đồng sáng lập kiêm Giám đốc điều hành công ty Ovalix chuyên cung cấp giải pháp bảo mật AI, cho rằng AI tự hành không cần hoạt động sai mục tiêu hay có hành vi bất thường mới gây nguy hiểm cho doanh nghiệp. Đôi khi, hệ thống vẫn hoàn thành công việc nhưng đồng thời thực hiện những hành động tiềm ẩn rủi ro.

Chẳng hạn một tác nhân AI được giao xử lý thanh toán hóa đơn. Hệ thống kiểm tra thông tin, xác nhận số tiền và chuyển khoản chính xác cho nhà cung cấp. Tuy nhiên, AI đã bỏ qua bước phê duyệt bắt buộc của con người. Giao dịch vẫn thành công, nhưng nếu hóa đơn là giả mạo, doanh nghiệp có thể chỉ phát hiện sự cố khi tiền đã bị chuyển đi.

Một ví dụ khác là tác nhân AI sửa lỗi phần mềm, hoàn thành cập nhật mã và vượt qua toàn bộ các bài kiểm tra. Tuy nhiên, trong quá trình đó, hệ thống có thể vô tình gửi thông tin xác thực bí mật tới một dịch vụ bên ngoài. Tương tự, AI có thể tạo báo cáo khách hàng chính xác nhưng bỏ qua bước loại bỏ dữ liệu cá nhân nhạy cảm trước khi gửi đi.

Theo ông Vaturi, những rủi ro này có thể dẫn đến rò rỉ thông tin khách hàng, mất tài sản trí tuệ, thay đổi ngoài ý muốn đối với hệ thống vận hành hoặc thực hiện giao dịch tài chính không tuân thủ quy trình, gây thiệt hại về tài chính, hoạt động và uy tín doanh nghiệp.

Giám đốc điều hành công ty Ovalix nhấn mạnh AI tự hành đặt ra thách thức mới đối với bảo mật do hoạt động không hoàn toàn theo quy trình cố định. Khác với hệ thống tự động truyền thống, các tác nhân AI có thể lựa chọn công cụ, truy cập thông tin và thay đổi cách thực hiện tùy theo bối cảnh. Một hành động riêng lẻ có thể được cấp phép hợp lệ, nhưng việc kết hợp nhiều quyền truy cập để chuyển dữ liệu mật ra ngoài tổ chức lại có thể gây nguy hiểm.

Vì vậy, việc giám sát từng hành động riêng lẻ hoặc chỉ đánh giá kết quả cuối cùng là chưa đủ. Doanh nghiệp cần theo dõi toàn bộ quá trình AI thực hiện nhiệm vụ, từ mục tiêu ban đầu, thông tin được sử dụng, quyết định đưa ra đến các hành động trên những hệ thống khác nhau.

Ông Vaturi cho rằng cần xây dựng cơ chế bảo mật có khả năng giám sát toàn diện, xác định những hành vi lệch khỏi mục tiêu hoặc quy trình được phép, đồng thời ngăn chặn các hành động nguy hiểm theo thời gian thực.