Tận dụng công nghệ để tối ưu hóa trải nghiệm của người dùng đối với hoạt động mua sắm trực tuyến là mục đích mà nhóm học viên, sinh viên khoa Khoa học và Kỹ thuật Máy tính hướng đến khi nghiên cứu về mô hình thử trang phục ảo.
Khởi nguồn từ ý tưởng kết hợp công nghệ Virtual Try-On và mô hình Stable Diffusion
Hướng nghiên cứu của nhóm bắt nguồn từ việc nhận thấy tiềm năng ứng dụng của công nghệ Virtual Try-On (VTON) đặc biệt khi kết hợp cùng mô hình Stable Diffusion trong lĩnh vực thời trang.
Stable Diffusion, một mô hình AI tạo sinh, có khả năng sáng tạo ra hình ảnh sinh động và đầy chân thực chỉ từ mô tả văn bản đầu vào. Trong khi đó, công nghệ Virtual Try-on, dưới sự hỗ trợ từ mô hình Stable Diffusion là xương sống chính cộng thêm các công nghệ khác như công nghệ thực tế tăng cường (AR), cho phép người dùng thử quần áo, phụ kiện hoặc các vật phẩm trực tuyến một cách chân thực.
Khắc phục hạn chế công nghệ hiện tại, nâng cao hiệu quả thử trang phục ảo
Để giúp người dùng thử quần áo trực tuyến cần có hai bước chính, đầu tiên là đánh dấu vùng trên cơ thể cần thử bằng cách tô vào những vùng ấy (hay còn gọi là vùng che phủ), sau đó, mô hình sẽ tự động thay quần áo và điều chỉnh cho khớp với các vùng đã được tô.
Trong quá trình nghiên cứu về các công trình trước đó, nhóm nhận thấy vấn đề vùng che phủ (mask problem) là một trong những thách thức lớn khi phát triển công nghệ Virtual Try-On. Nó liên quan đến khả năng của mô hình Virtual Try-On phủ đầy đủ và chính xác các phần trên cơ thể khi thử đồ ảo, hạn chế tối đa sự sai lệch hoặc thiếu sót.
Trên thực tế, người dùng sẽ không tự đi tô vào vùng nào cần mặc thử mà sẽ được hỗ trợ bởi các mô hình khác, tuy nhiên các mô hình này còn một số hạn chế như vùng tô dư thừa các thành phần không cần thiết hoặc tô không chính xác ở các tư thế khó như khoanh tay. Do đó, nhóm quyết định theo đuổi hướng nghiên cứu thiết kế một mô hình bổ trợ các mô hình Virtual Try-On hiện tại bằng cách can thiệp ở bước tạo vùng che phủ nhằm tối ưu mức độ tinh chỉnh của vùng che phủ đối với vùng cần thay quần áo.
Khi có được vùng che phủ chính xác hơn, các mô hình Virtual Try-on sẽ giữ được nhiều chi tiết hơn. Ví dụ về tư thế khoanh tay – một kiểu dáng được đánh giá là thách thức với các mô hình hiện có, thường sẽ bị mô hình tô phủ lên và thay áo chồng lên cả hai tay. Sau khi dùng thêm mô hình tinh chỉnh của nhóm, vùng che phủ này sẽ bỏ qua hai cánh tay, từ đó bảo toàn được tư thế và cũng có thể là màu da, các phụ kiện trên tay.
“Giải pháp của nhóm sẽ bổ trợ cho các giải pháp đang có, giúp cải tiến vùng che phủ, từ đó hiệu suất tổng thể của mô hình sẽ tăng lên”, Nguyễn Song Thiên Long, thành viên nhóm chia sẻ.
Quá trình nghiên cứu dài hơi của dự án
Nhóm dành 05 tháng từ tháng 9/2024 đến tháng 1/2025 để hoàn thiện dự án. Đối với việc xây dựng nền tảng kỹ thuật cho dự án, nhóm sử dụng các mô hình học sâu như mạng nơ-ron tích chập (CNN) để phân tích hình ảnh, nhận diện các đặc điểm của sản phẩm và cơ thể người dùng. Mô hình ước tính tư thế (Pose Estimation) cũng được tích hợp giúp xác định chính xác vị trí và tư thế của các khớp cơ thể, từ đó cho phép sản phẩm ảo tương tác một cách tự nhiên theo chuyển động của người dùng.
Ngoài ra, nhóm đã nghiên cứu kiến trúc Attention U-Net, một mô hình có khả năng học và trích xuất các đặc trưng của cơ thể và trang phục ở nhiều cấp độ khác nhau. Điều này giúp cải thiện đáng kể chất lượng kết quả đầu ra.
Bên cạnh đó, nhóm cũng tìm hiểu thêm về mô hình Stable Diffusion nhằm nắm vững nguyên lý hoạt động, từ đó có thể cải thiện phương pháp của mình.
Hiện tại, các mô hình Virtual Try-on đang có xu hướng trở nên ít phụ thuộc vào vùng che phủ hơn, do đó, nhóm có ý định phát triển mô hình Virtual Try-on theo định hướng này.
Đặc biệt, trong triển lãm vừa qua ở ĐHQG-HCM, nhóm vinh dự được Thủ tướng Phạm Minh Chính bắt tay và gửi lời động viên cố gắng học tập và nghiên cứu thật tốt, nhất là khi lĩnh vực mà nhóm đang theo đuổi nằm trong danh mục các ngành công nghiệp trọng điểm của quốc gia. Điều này đã truyền cảm hứng và động lực để nhóm phấn đấu hoàn thiện và mở rộng nghiên cứu trong thời gian tới. Nhóm đã hoàn thành bài báo khoa học về công trình này và nộp về hội nghị CITA (Conference on Information Technology and its Applications).
Giảng viên hướng dẫn:
1. PGS. TS. Quản Thành Thơ, Trưởng khoa, khoa Khoa học và Kỹ thuật Máy tính.
2. Nguyễn Quang Đức, Trợ giảng khoa Khoa học và Kỹ thuật Máy tính.
Nhóm gồm 06 học viên, sinh viên khoa Khoa học và Kỹ thuật Máy tính, thuộc nhóm nghiên cứu URA:
1. Bùi Đắc Hưng, khoa Khoa học và Kỹ thuật Máy tính, học viên cao học (cựu sinh viên khóa 19)
2. Nguyễn Phan Hoàng Phúc, khoa Khoa học và Kỹ thuật Máy tính, sinh viên năm 04 (khóa 21), chương trình Tiêu chuẩn;
3. Đặng Quang Vinh, khoa Khoa học và Kỹ thuật Máy tính, sinh viên năm 04 (khóa 21), chương trình Tiêu chuẩn;
4. Huỳnh Nga, khoa Khoa học và Kỹ thuật Máy tính, sinh viên năm 03 (khóa 22), chương trình Dạy và học bằng tiếng Anh;
5. Võ Duy Hùng, khoa Khoa học và Kỹ thuật Máy tính, cựu sinh viên khóa 20, chương trình Dạy và học bằng tiếng Anh;
6. Nguyễn Song Thiên Long, khoa Khoa học và Kỹ thuật Máy tính, sinh viên năm 02 (khóa 23), chương trình Dạy và học bằng tiếng Anh.
NGUỒN: Phòng Quản trị Thương hiệu – Truyền thông, Trường ĐH Bách khoa
HCMUT
Vì sao chọn OISP 10
