Khi AI đọc suy nghĩ con người và trở thành thế lực kiểm soát xã hội

Ảnh: Vanishing.

Tại sân bay quốc tế Los Angeles, nhân vật Sara Hussein bị các nhân viên nhập cư và hải quan yêu cầu dừng lại rồi bị đưa đến phòng thẩm vấn. Trong khi những khung cảnh này đã quen thuộc trên các bộ phim hay thậm chí ngoài đời thực, thì một điều cần lưu ý là Sara không sống trong bối cảnh hiện tại.

Sara sống trong một thế giới mới, trong thời tương lai cách hiện nay vài thập kỷ và cô bị giữ lại vì Scout, hệ thống an ninh AI của tiểu bang, phát hiện một điều gì đó bất thường trong trí não cô.

Con người bị giam vì bị AI đánh giá có "điểm rủi ro"

Dựa trên thông tin thông thường, Sara không có gì đặc biệt: Cô là một nhân viên bảo tàng, đã kết hôn và là mẹ của một cặp song sinh nhỏ. Cô từng cãi nhau với chồng mình là Elias sau khi anh bốc đồng đổi chiếc Toyota của gia đình lấy một chiếc Volvo.

Sara tự coi mình là người "không thể bị coi là có liên quan tới bất kỳ nhóm vi phạm pháp luật nào", cho đến khoảnh khắc tại sân bay khi một sĩ quan thông báo với cô rằng "điểm rủi ro" của cô quá cao. Sau đó cô bị gửi đến Madison, một trung tâm giam giữ phụ nữ California nằm trong một trường tiểu học cũ.

Tại Madison, hành vi tốt sẽ giúp giảm điểm rủi ro, tuy nhiên, lại phụ thuộc vào những người có trách nhiệm “bảo vệ”. Nếu Sara không cho thấy đủ sự phục tùng, cô không thể giảm điểm xuống.

"Những người bị giam giữ" bước đầu sẽ bị giam giữ trong 21 ngày, sau đó là theo chế độ luân phiên và cũng có khả năng là mãi mãi. Đây không phải là hình phạt mà chỉ để quản lý rủi ro, phòng ngừa bất kỳ ai bị coi là có nguy cơ phạm tội.

Mỗi công dân đều có điểm rủi ro, được tính toán dựa trên thuật toán từ dữ liệu đám mây cá nhân, từ mạng lưới giám sát và từ Dreamsaver, một loại chip phổ biến được cấy ghép vào hộp sọ giúp mang lại giấc ngủ ngon hơn. Công ty phát triển loại chip này cũng phải chia sẻ giấc mơ của người dùng với chính phủ. Mọi người dân đều đồng ý với điều này và có vẻ như nó đã làm giảm chủ nghĩa khủng bố.

Những dự báo và góc nhìn sâu sắc

The Dream Hotel là tiểu thuyết thứ năm của Laila Lalami, một tác giả được ghi nhận với nhiều tác phẩm xuất sắc. Những cuốn sách trước đó của bà đã nhận được đề cử cho giải thưởng Booker, Pulitzer, National Book và từng lọt vào danh sách dài cho Women Prize.

Cuốn sách ra mắt ngày 4/3. Ảnh: Ocregister.

Cuốn sách phi hư cấu năm 2020 của Lalami, Conditional Citizens, dựa trên trải nghiệm của bà với tư cách là một người Mỹ gốc Morocco và suy nghĩ về hệ thống xã hội hai tầng của nước Mỹ: cách quyền lợi và sự tự do, trên thực tế, được thực hiện rất khác nhau giữa các chủng tộc, giai cấp, giới tính và nguồn gốc quốc gia.

Các tác phẩm của Lalami đã đào sâu những yếu tố này theo những cách khác nhau, từ Hope and Other Dangerous Pursuits (2005) nói về trải nghiệm của người di cư Morocco hiện đại, đến The Moor’s Account (2014), lấy cảm hứng từ câu chuyện có thật về một người đàn ông da đen thế kỷ 16 đã sống sót sau một cuộc thám hiểm thuộc địa khét tiếng của Tây Ban Nha để đến châu Mỹ. Tiểu thuyết gần đây nhất của bà, The Other Americans năm 2019, lấy bối cảnh ở California, theo dõi nguyên nhân và hậu quả của khoảnh khắc Driss, một người nhập cư Morocco, bị một chiếc ôtô phóng nhanh giết chết tại một ngã tư.

Còn trong The Dream Hotel, Lalami hướng đến tương lai. Cuốn tiểu thuyết thú vị khi vẽ nên viễn cảnh về cách AI có thể tự đan xen vào hệ thống hai tầng xã hội mà bà đã mô tả và tưởng tượng lại trong các tác phẩm trước đó. Sara cho thấy sự trung lập rõ ràng của "kỷ nguyên mới với cảnh sát kỹ thuật số" Scout với cách đối xử phân biệt chủng tộc mà cha mẹ nhập cư Morocco của bà đã phải chịu tại các sân bay Mỹ trong thời thơ ấu của bà.

Tuy nhiên, những định kiến quen thuộc vẫn được đưa vào các công cụ mới, cho thấy nhiều sai lệch so với chuẩn mực. Ví dụ, việc có một người họ hàng từng ngồi tù và tiền sử dùng ma túy là đủ để kết tội. Hồ sơ bệnh án của Sara phần nào liên quan đến việc cô từng là nạn nhân của một vụ tấn công tình dục khi 19 tuổi.

Hiếm có một cuốn tiểu thuyết nào lại tạo ra cảm giác bất lực và thất vọng mạnh mẽ đến vậy. Giống nhiều công nghệ khác, The Dream Hotel cho thấy AI khiến người dùng, từ cá nhân đến nhà nước, vừa thông minh hơn và vừa ngu ngốc hơn.

Đôi khi AI hoạt động rất chính xác và toàn diện vì nó dựa trên một lượng lớn dữ liệu, nhưng nó không phải là hoàn hảo. Nhiều phiên điều trần của người bị giam giữ hoãn lại một cách ngẫu nhiên, các chuyến thăm tù bị từ chối, các cuộc gọi điện thoại bị ngắt và tính phí quá cao hay quyền riêng tư trong tù bị xâm phạm.

Sara dần dần chấp nhận thực tế rằng cô trở thành một trong những người nhà nước có thể trừng phạt. Cô gửi email khiếu nại đến một giao diện có các câu trả lời trống rỗng miễn trừ trách nhiệm: "Chúng tôi đang nỗ lực giải quyết tình trạng gián đoạn dịch vụ" hay "Trường hợp này được đánh dấu là đã giải quyết".

Trong cuốn tiểu thuyết sắc sảo, tinh tế cùng những dự báo và góc nhìn sâu sắc, độc giả cảm nhận rõ sự hoang mang tột độ của các nhân vật trong một thế giới mới. Lalami lần theo sự can thiệp của AI vào các hệ thống và cuộc sống cá nhân, cả các mối quan hệ thân thiết và những suy nghĩ thầm lặng. Từ không hề nghi ngờ bản thân, Sara đi đến việc tự hỏi liệu bản thân có tiềm năng hành động bạo lực hay không.

Logic của hệ thống xã hội phân biệt một lần nữa được nhấn mạnh trong The Dream Hotel. một Một cư dân lâu năm nói về Sara: “Cô ấy hẳn đã làm điều gì đó. Ý tôi là, nếu họ giữ cô ấy lâu như vậy, thì họ hẳn phải có điều gì đó về cô ấy".

Minh Hoa