AI biến ảnh bị mờ thành những bức chân dung siêu thực
Các nhà nghiên cứu của Đại học Duke đã phát triển một công cụ AI có thể biến những hình ảnh mờ, không thể nhận ra của khuôn mặt người, thành những bức chân dung rõ nét, chi tiết hơn bao giờ hết.
Các đặc điểm trên khuôn mặt như mắt và môi hầu như không thể phân biệt được trong bức ảnh mờ bên trái. Nhờ AI, bức ảnh phóng to hơn 60 lần (bên phải) lại là một câu chuyện khác. Ảnh: Phòng thí nghiệm Rudin.
NDĐT - Các nhà nghiên cứu của Đại học Duke đã phát triển một công cụ AI có thể biến những hình ảnh mờ, không thể nhận ra của khuôn mặt người, thành những bức chân dung rõ nét, chi tiết hơn bao giờ hết.
Trước đây, các phương pháp chỉnh sửa ảnh có thể chia tỷ lệ hình ảnh của khuôn mặt lên gấp tám lần độ phân giải ban đầu của nó. Nhưng nhóm của Đại học Duke đã tìm ra cách để lấy một số phân tử ảnh và tạo ra những khuôn mặt trông giống thật với độ phân giải lên tới 64 lần. Công cụ trí tuệ nhân tạo AI có thể “tưởng tượng” các đường nét như đường kẻ mảnh, lông mi và râu rậm không có trong bức ảnh ban đầu.
Nhà khoa học máy tính của Đại học Duke, Cynthia Rudin, người đứng đầu nhóm nghiên cứu cho biết: “Chưa bao giờ có hình ảnh siêu phân giải được tạo ra ở bức ảnh chất lượng thấp như thế này trước đây”.
Các nhà nghiên cứu cho biết, hệ thống này không thể sử dụng để nhận dạng con người vì nó sẽ không biến một bức ảnh thiếu nét, không thể nhận ra từ camera an ninh thành hình ảnh rõ nét của người thật. Thay vào đó, nó có khả năng tạo ra những khuôn mặt mới không tồn tại, nhưng trông có vẻ như thật.
Mặc dù các nhà nghiên cứu mới chỉ tập trung vào khuôn mặt, nhưng về mặt lý thuyết, kỹ thuật tương tự có thể biến ảnh độ phân giải thấp của hầu hết mọi thứ thành những bức ảnh sắc nét, chân thực để ứng dụng trong các lĩnh vực từ kính hiển vi trong y học đến hình ảnh vệ tinh trong lĩnh vực thiên văn, đồng tác giả Sachit Menon, người vừa tốt nghiệp Đại học Duke với chuyên ngành toán học và khoa học máy tính cho biết.
Các nhà nghiên cứu sẽ trình bày phương pháp của họ, được gọi là PULSE tại Hội nghị về Tầm nhìn máy tính và nhận dạng mẫu (CVPR) năm 2020, được tổ chức hầu như từ ngày 14 đến 19-6.
Hệ thống sẽ tự động tăng bất kỳ độ phân giải nào của hình ảnh lên tới 64 lần. Các chi tiết như lỗ chân lông và lông mi không có ở bức ảnh ban đầu. Nguồn: Phòng thí nghiệm Rudin.
Trong khi các cách tiếp cận truyền thống là lấy hình ảnh có độ phân giải thấp và “đoán” những pixel nào cần thiết bằng cách cố gắng làm cho chúng khớp với nhau. Kết quả là các vùng có kết cấu trên tóc và da có thể không thẳng hàng một cách hoàn hảo.
Nhóm các nhà khoa học của Đại học Duke đã đưa ra một cách tiếp cận khác. Thay vì chụp ảnh độ phân giải thấp và từ từ thêm chi tiết mới, hệ thống sẽ quét các ví dụ do AI tạo ra của các khuôn mặt có độ phân giải cao, tìm kiếm các hình ảnh trông giống nhất có thể như hình ảnh đầu vào khi được thu nhỏ về cùng kích thước.
Nhóm nghiên cứu đã sử dụng một công cụ trong học máy gọi là Mạng lưới đối thủ sáng tạo (GAN), đó là hai mạng được đào tạo trên cùng một tập dữ liệu ảnh. Một mạng xuất hiện với khuôn mặt người do AI tạo ra bắt chước khuôn mặt mà nó được học, trong khi mạng kia lấy đầu ra này và quyết định xem nó có đủ thuyết phục để bị nhầm với thực tế hay không. Mạng đầu tiên ngày càng tốt hơn với kinh nghiệm, cho đến khi mạng thứ hai không tìm ra sự khác biệt.
PULSE có thể tạo ra hình ảnh trông như thật từ bức ảnh “đầu vào” chất lượng kém mà các phương pháp khác không thể, Rudin nói. Từ một hình ảnh mờ duy nhất của khuôn mặt, nó có thể tạo ra bất kỳ số lượng khả năng giống như thật nào, mỗi cái trông tinh tế như một người khác.
Một đồng tác giả khác, Alex Damian, chuyên gia toán học của Đại học Duke nói: “Ngay cả khi đưa ra những bức ảnh mà phần tử ảnh như mắt và miệng hầu như không thể nhận ra, thuật toán của chúng tôi vẫn có thể làm được điều gì đó với nó, đó là điều mà các phương pháp truyền thống không thể làm được,
Hệ thống có thể chuyển đổi hình ảnh 16 × 16 pixel của khuôn mặt thành 1024 x 1024 pixel trong vài giây, thêm hơn một triệu pixel, giống với độ phân giải HD. Các chi tiết như lỗ chân lông, nếp nhăn và lọn tóc không thể nhận ra trong các bức ảnh độ phân giải thấp trở nên rõ nét và rõ ràng trong các phiên bản do máy tính tạo ra.
Các nhà nghiên cứu đã yêu cầu 40 người đánh giá 1.440 hình ảnh được tạo ra thông qua công cụ PULSE với năm phương pháp chia tỷ lệ khác theo thang điểm từ một đến năm, và PULSE đã làm tốt nhất, đạt điểm cao gần như những bức ảnh chất lượng cao của người thực.
Hình ảnh của chính các tác giả: Sachit Menon, Alex Damian, McCourt Hu, Nikhil Ravi và Cynthia Rudin. Từ một hình ảnh mờ duy nhất, PULSE có thể tạo ra các bức chân dung giống như thật, có thể khác biệt tinh tế với người thật nhưng sắc nét hơn nhiều so với các phương pháp trước đây. Ảnh: Phòng thí nghiệm Rudin.
