Kho ảnh và video AI khiêu dâm rò rỉ từ cơ sở dữ liệu DreamX

DreamX là công ty khởi nghiệp chuyên tạo ảnh bằng AI (trí tuệ nhân tạo).

Tạp chí Wired đưa tin DreamX đã để lộ hơn 1 triệu hình ảnh, video được tạo ra bằng hệ thống AI của họ và bất kỳ ai cũng có thể truy cập trực tuyến.

Nhà nghiên cứu bảo mật Jeremiah Fowler đã phát hiện ra cơ sở dữ liệu DreamX bị lộ. Theo ông, phần lớn nội dung rò rỉ liên quan đến ảnh khỏa thân hoặc mang nội dung người lớn. Một số ảnh dường như mô tả trẻ em hoặc khuôn mặt các em bị hoán đổi với cơ thể người lớn khỏa thân do AI tạo ra.

Jeremiah Fowler cho biết nhiều trang web, gồm cả MagicEdit và DreamPal của DreamX, dường như cùng sử dụng một cơ sở dữ liệu không được bảo vệ này.

Jeremiah Fowler phát hiện lỗ hổng vào tháng 10, và thời điểm đó, mỗi ngày có khoảng 10.000 ảnh mới được đưa vào cơ sở dữ liệu. Từ đó, ông nhận thấy cách nhiều người khai thác các công cụ tạo và chỉnh sửa ảnh bằng AI đáng quan ngại. Cụ thể hơn, nhiều nhân vật có thật trên ảnh đã bị “lột đồ” bằng AI mà không hề hay biết, hoặc bị ghép mặt vào cơ thể khỏa thân của người khác.

“Vấn đề thực sự là ảnh của những người vô tội, đặc biệt là trẻ vị thành niên, bị dùng để tạo nội dung khiêu dâm mà các em không hề biết”, Jeremiah Fowler, chuyên gia chuyên truy tìm các cơ sở dữ liệu bị rò rỉ, cho hay.

Đây là cơ sở dữ liệu tạo ảnh AI cấu hình sai thứ ba mà ông phát hiện có thể truy cập trực tuyến trong năm nay, tất cả đều chứa nội dung nhạy cảm phi tự nguyện, gồm ảnh của thanh thiếu niên và trẻ em.

Jeremiah Fowler phát hiện ra cơ sở dữ liệu DreamX bị lộ trên internet - Ảnh: Internet

Nở rộ công cụ AI tạo ảnh khiêu dâm ác ý

Phát hiện của Jeremiah Fowler được công bố trong bối cảnh nhiều công cụ AI bị lạm dụng để tạo nội dung khiêu dâm một cách ác ý. Một hệ sinh thái khổng lồ các dịch vụ nudify dùng AI để “lột đồ” người trong ảnh, gần như toàn bộ là phụ nữ, đang thu hút hàng triệu người dùng và mang về hàng triệu USD mỗi năm.

Ảnh lấy trộm từ mạng xã hội có thể bị chỉnh sửa chỉ bằng vài cú nhấp chuột, dẫn đến hành vi lạm dụng và quấy rối nghiêm trọng. Trong khi đó, có báo cáo về tội phạm sử dụng AI tạo nội dung lạm dụng tình dục trẻ em tăng gấp đôi năm vừa qua.

“Chúng tôi xem xét những lo ngại này hết sức nghiêm túc”, người phát ngôn của DreamX, công ty vận hành MagicEdit và DreamPal, cho hay.

Người này nói rằng SocialBook (công ty tiếp thị người có ảnh hưởng) là “một pháp nhân riêng biệt” với DreamX, chỉ có liên hệ lịch sử vì cùng nhà sáng lập và tài sản cũ, không trực tiếp vận hành MagicEdit hay DreamPal.

MagicEdit là công cụ chỉnh sửa và tạo ảnh bằng AI, cho phép đổi mặt, mở rộng ảnh, xóa vật thể, thay trang phục… Trên thực tế, MagicEdit bị người dùng khai thác để tạo ảnh gợi dục hoặc “lột đồ” người thật.

DreamPal là dịch vụ trò chuyện nhập vai với AI, mang tính người lớn rõ rệt. Trang web DreamPal mô tả cho phép người dùng “tạo bạn gái AI trong mơ” và từng quảng bá nội dung tính dục.

Một người phát ngôn SocialBook nói với Wired: “SocialBook không liên quan đến cơ sở dữ liệu được đề cập, không sử dụng, vận hành hay quản lý nó. Các hình ảnh đó không được tạo, xử lý hay lưu trữ bởi hệ thống của SocialBook”.

Trong báo cáo của mình, Jeremiah Fowler viết rằng cơ sở dữ liệu có dấu hiệu liên quan đến SocialBook và chứa nhiều ảnh đóng watermark (logo hay hình mờ) SocialBook.

Nhiều ảnh đóng watermark SocialBook

Nhiều trang trên website SocialBook từng nhắc đến MagicEdit hoặc DreamPal giờ đã báo lỗi và không còn truy cập được. Người phát ngôn DreamX giải thích rằng kho dữ liệu bị lộ thực chất chứa các tài liệu cũ, chủ yếu của MagicEdit và DreamPal, và SocialBook không sử dụng kho chúng cho hoạt động của mình.

“Ưu tiên của chúng tôi là đảm bảo an toàn cho người dùng và công chúng, tuân thủ pháp luật và minh bạch. Chúng tôi không ủng hộ hay dung túng việc tạo hoặc phát tán nội dung lạm dụng tình dục trẻ em dưới bất kỳ hình thức nào”, DreamX tuyên bố.

MagicEdit và DreamPal bị xóa khỏi Apple App Store

Sau khi Jeremiah Fowler liên hệ, DreamX cho biết đã khóa quyền truy cập cơ sở dữ liệu bị lộ và tiến hành “điều tra nội bộ với tư vấn pháp lý bên ngoài”.

"DreamX cũng tạm dừng quyền truy cập vào các sản phẩm của chúng tôi trong khi chờ kết quả điều tra", người phát ngôn DreamX nói.

Tại thời điểm viết bài, trang web DreamPal không khả dụng và báo lỗi 502 khi truy cập. "Chúng tôi đang tạm dừng một số tính năng của sản phẩm. Trong thời gian này, dịch vụ có thể không khả dụng", theo một thông báo trên trang chủ website MagicEdit.

Trên Apple App Store, cả MagicEdit và DreamPal đều được liệt kê là thuộc sở hữu của nhà phát triển BoostInsider. MagicEdit, DreamPal và hai ứng dụng AI khác được BoostInsider liệt kê hiện không còn khả dụng trên Apple App Store.

Người phát ngôn của DreamX cho biết Boostinsider là "thực thể không còn tồn tại".

"Công ty đã tạm thời gỡ bỏ các ứng dụng này như một phần trong quá trình tái cấu trúc rộng hơn các dòng sản phẩm và cơ sở hạ tầng của chúng tôi, đồng thời tăng cường hệ thống kiểm duyệt nội dung", phát ngôn viên nói.

Các ứng dụng này của của DreamX dường như không xuất hiện trên Google Play Store. Tuy nhiên, khi tài khoản có tên BoostInsider đặt câu hỏi tại sao Google lại đình chỉ hai ứng dụng, gồm cả MagicEdit, trên các trang hỗ trợ đầu năm nay, một tài khoản chuyên gia của cộng đồng Google trả lời rằng chúng chứa nội dung khiêu dâm hoặc ảnh khỏa thân. Người phát ngôn của Google xác nhận rằng các ứng dụng này đã bị đình chỉ do vi phạm chính sách.

Trong khi người phát ngôn của Apple cho biết các ứng dụng đã bị gỡ bỏ khỏi App Store.

Cơ sở dữ liệu mà Jeremiah Fowler phát hiện chứa 1.099.985 bản ghi, gần như toàn bộ là nội dung khiêu dâm, theo Wired. Nhà nghiên cứu bảo mật này nói ông chỉ chụp màn hình để xác minh việc cơ sở dữ liệu bị lộ rồi báo cáo cho chủ sở hữu, chứ không tải về nội dung bất hợp pháp.

“Tất cả chỉ hoàn toàn là ảnh và video”, Jeremiah Fowler tiết lộ. Báo cáo của ông cho biết cơ sở dữ liệu bị lộ chứa rất nhiều file có vẻ là ảnh khiêu dâm do AI tạo, mô tả người dưới tuổi vị thành niên và thậm chí có thể là trẻ em.

Jeremiah Fowler báo cáo sự cố lên Trung tâm Quốc gia về Trẻ em Mất tích và Bị bóc lột (NCMEC) của Mỹ. Đại diện NCMEC cho biết xem xét mọi thông tin gửi đến đường dây đường dây tiếp nhận báo cáo trực tuyến, nhưng không tiết lộ chi tiết.

Sự tiếp diễn của vấn đề tồn tại lâu nay

Hiện chưa rõ cơ sở dữ liệu đã bị lộ trên internet trong bao lâu. Người phát ngôn của DreamX thông báo “không có hệ thống vận hành nào bị xâm phạm”.

Jeremiah Fowler chỉ trích DreamX: “Họ quảng bá nội dung gợi dục một cách tinh vi” và nhấn mạnh rằng công cụ AI tạo ảnh khỏa thân rất dễ bị “vũ khí hóa” cho mục đích tống tiền, quấy rối hoặc gây hại.

“Những công ty này thực sự phải làm nhiều hơn là chỉ một cửa sổ bật lên chung chung: ‘Bằng cách nhấp vào đây, bạn đồng ý rằng đã đồng ý tải lên hình ảnh này’. Không thể trông chờ người dùng tự kiểm soát hành vi của mình. Các công ty phải có cơ chế kiểm duyệt thực sự, thậm chí vượt xa khả năng của AI”, Jeremiah Fowler bình luận.

DreamX phản hồi rằng: "MagicEdit không quảng bá hoặc khuyến khích nội dung khiêu dâm rõ ràng. Chúng tôi áp dụng các cơ chế kiểm duyệt, lọc và bảo vệ để ngăn chặn việc sử dụng sai mục đích".

“Về mặt kỹ thuật, chúng tôi đã triển khai nhiều biện pháp bảo vệ, rất lâu trước khi nhận được bất kỳ yêu cầu nào từ bên ngoài, gồm quy định nhắc nhở, lọc đầu vào và bắt buộc xem xét tất cả prompt (lời nhắc) từ người dùng thông qua API (giao diện lập trình ứng dụng) kiểm duyệt của OpenAI. Nếu một prompt vi phạm các tiêu chuẩn an toàn, hệ thống sẽ tự động chặn yêu cầu”, người phát ngôn DreamX nói thêm.

Adam Dodge, nhà sáng lập EndTAB - tổ chức đào tạo kỹ năng xử lý lạm dụng công nghệ, nói: “Đây chỉ là sự tiếp diễn của vấn đề đã tồn tại lâu nay: Nhiều startup tỏ ra thờ ơ với các biện pháp an toàn, niềm tin của người dùng và việc bảo vệ trẻ em. Tất cả những gì chúng ta đang chứng kiến hoàn toàn có thể lường trước được. Cốt lõi của vấn đề là sự tình dục hóa và kiểm soát cơ thể phụ nữ và trẻ em gái. Đây không phải là một vấn đề xã hội mới, nhưng giờ chúng ta đang thấy nó trông như thế nào khi được AI khuếch đại lên”.

Sơn Vân