제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [삼신할머니 말고 Ai] : StyleGan을 이용한 커스터마이징 2세 예측 프로그램
•
0 likes•813 views
The document describes a project to build a customized 2nd generation prediction model using GAN. The goals of the project were to implement an optimized model for predicting East Asian children's appearances and allow adjusting the gender ratio and age range of predictions. The project team collected datasets, trained a StyleGAN2-ada model, and tested it on various gender ratios and celebrity couples. The model was able to naturally generate Asian facial features but had limitations predicting younger ages and certain hairstyles. Future work could focus on adding more male and child data to improve accuracy.
Report
Share
제 13회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [삼신할머니 말고 Ai] : StyleGan을 이용한 커스터마이징 2세 예측 프로그램
- 1. GAN을 활용한 커스터마이징 2세 예측 모델 BOAZ 14기 강민지 진정민 진혜원 한하랑 삼신 할머니 말고 Ai
- 2. 01 Index 02 03 04 05 Introduction 주제 선정 이유, 기존 서비스의 한계점 프로젝트 목표 Preparation 데이터 수집 및 전처리 구축 환경 Model Result Outroduction 모델 선정 및 학습 결과 시연 의의 및 한계, 발전방향, 참고문헌, 더보기
- 3. 01 PART Introduction 주제 선정 이유 기존 모델의 한계점 프로젝트 목표
- 4. 01 Introduction 내 최애랑 결혼하게 되면 애기는 최애 닮았으면 좋겠다..ㅎ..(미래설계) 이번에 손예진 현빈 사귄다 던데 결혼하면 2세 유전자 대박일듯ㅇㅇ 포토샵 프로그램을 이용하여 남녀 합성 및 2세 모습 예측 2세 예측 플랫폼(웹, 앱) 증가 자신의 2세 또는 연예인 커플 2세에 대한 관심 확산 주제 선정 민지 하랑 혜원 정민
- 5. 01 Introduction - 부모의 비율과 특성 조절의 경우 대부분 유료 서비스 - 서양인을 기반으로 만들어져 동양인 예측의 경우 부자연스럽거나, 서양인을 닮은 아이가 예측 됨 기존 플랫폼의 문제점 (Baby Maker 어플 참조) - 나이변화의 폭이 매우 좁음(3-5세), 넓을 경우에는 유료 서비스 + +
- 6. 01 Introduction - 남녀 사진 반영 비율 조절 - 동양인에 최적화된 2세 예측 모델 구현 프로젝트 목표 - 나이변화 폭 기존보다 넓게 재설정(5-20세) - 예측한 2세 성별 선택 가능
- 7. 02 PART Preparation 데이터 선정 및 수집 데이터 전처리 작업 환경 구축
- 8. 02 Preparation 동양인에 자연스럽게 생성될 수 있도록 데이터 수집 Flickr Faces HQ Dataset(FFHQ) Kaggle Asian Faces Dataset 10000장 10000장
- 9. 빠른 시간 내에 학습이 될 수 있도록 데이터 사이즈 전처리 1024 x 1024 256 x 256 02 Preparation
- 10. 02 Preparation 프로젝트 구축 환경 GPU : T4 또는 P100, V100 CPU : Intel® Xeon® CPU @ 2.30GHz RAM : 25.51GB TensorFlow 1.15
- 11. 03 PART Model 모델 소개 모델 선정 이유 Training 실험
- 12. 03 Model 학습 구조 StyleGAN2-ada Network pkl 획득! StyleGAN2-ada Encoder Aligned image 256 x 256 Latent 획득! StyleGAN2-ada Generator Direction vector M F B
- 13. 03 Model 학습 구조 StyleGAN2-ada Network pkl 획득! StyleGAN2-ada Encoder Aligned image 256 x 256 Latent 획득! 다시 256*256으로 StyleGAN2-ada Generator Direction vector M F B 1. 얼굴의 기울기를 조절 2. 배경을 지우기 3. 얼굴 위주로 crop 4. 1024*1024로 resize Landmark Library
- 15. 03 Model StyleGAN v1 StyleGAN 계보 (Generator) StyleGAN v2 Noise Mapping Network를 통과한 비선형 vector
- 16. 03 Model StyleGAN v1 StyleGAN v2 StyleGAN 계보 (Generator) AdaIN에서 평균 제거 (표준편차만 이용) Bias와 Noise를 block 외부로 빼내어 Style과 noise의 영향력을 독립시킴
- 17. 03 Model StyleGAN v1 StyleGAN 계보 (Generator) StyleGAN v2 Convolution의 선형변환 추가 Normalization 제거
- 18. 03 Model StyleGAN 계보 StyleGAN v2 StyleGAN v2 - ada Augmentation 추가
- 19. 03 Model StyleGAN2-ada(2020.10) StyleGAN2 StyleGAN2-ada - 비교적 적은 데이터셋으로도 효과적 (3만장 이하) - GPU 대비 적은 시간 소요 (1 GPU 4days) Augmentation 추가 효율 ↑ ( ) - 대용량 데이터셋 필요 (약 7만장) - Training에 많은 시간 소요 1 GPU 30days 8 GPU 10days
- 20. 03 Model 1. FFHQ(5000) + Asian(10000) / weight ffhq-256-config-e / cfg stylegan2(65시간) Training 실험 (12시간 기준) 2. FFHQ(5000) + Asian(5000) / weight paper256 / cfg paper512 ref_gpus=8, kimg=25000, mb=32, mbstd=4, fmaps=1, lrate=0.002, gamma=10, ema=10, ramp=None, map=8 ref_gpus=8, kimg=25000, mb=64, mbstd=8, fmaps=1, lrate=0.0025, gamma=0.5, ema=20, ramp=None, map=8
- 21. 4. FFHQ(7500) + Asian(7500) / weight paper256 / cfg stylegan2 03 Model Training 실험 (12시간 기준) 3. FFHQ(7000) + Asian(3000) / weight paper256 / cfg stylegan2
- 22. 03 Model FFHQ(7500) + Asian(7500) Weight paper256 cfg stylegan2 6시간 12시간 18시간 24시간 30시간 36시간 원본 Training ��험 (시간대별 변화) ref_gpus=8, kimg=25000, mb=64, mbstd=8, fmaps=1, lrate=0.0025, gamma=0.5, ema=20, ramp=None, map=8
- 23. 03 Model FFHQ(7500) + Asian(7500) Weight paper256 cfg stylegan2 6시간 12시간 18시간 24시간 30시간 36시간 원본 Training 실험 (시간대별 변화)
- 24. 03 Model Encoder Face feature vector Latent Vector Aligned image VGG Net 𝑤! 𝑤" 𝑤# 𝑤$ 𝑤!# 𝑤!$ Style Mixing Layers(8-18) Layers(1-7) 4x4 const Generator 1. 얼굴의 기울기를 조절 2. 배경을 지우기 3. 얼굴 위주로 crop 4. 1024*1024로 resize
- 25. 04 PART Result 학습 모델의 결과
- 26. 04 Result 1. 남녀 50 : 50 비율 여 남 10 14 21 26 8 11 15 27
- 27. 04 Result 1. 남녀 50 : 50 비율 여 남 12 19 22 27 9 13 18 31
- 28. 04 Result 1. 남녀 50 : 50 비율 여 남 9 14 20 25 10 13 20 30
- 29. 04 Result 1. 남녀 50 : 50 비율 여 남 8 16 20 26 6 9 14 29
- 30. 04 Result 2. 남녀 80 : 20 비율 여 남 16 21 23 30 14 18 24 31
- 31. 04 Result 2. 남녀 20 : 80 비율 여 남 16 19 21 24 12 15 18 23
- 32. 04 Result 2. 남녀 20 : 80 비율 여 16 19 21 24 7 13 18
- 33. 04 Result 3. 연예인 남녀 50:50 비율 여 남 12 15 22 28 10 13 22 27
- 34. 04 Result 3. 연예인 남녀 30:70 비율 여 남 12 15 19 21 10 14 16 19
- 35. 04 Result 3. 연예인 남녀 70:30 비율 여 남 13 16 20 25 13 15 18 24
- 36. 04 Result 4. 연예인 남녀 50 : 50 비율 여 남 18 20 23 31 13 16 19 28
- 37. 04 Result 4. 연예인 남녀 50 : 50 비율
- 38. 04 Result 5. 서양인 남녀 50:50 비율 여 남 14 20 28 11 15 27
- 39. 04 Result 5. 서양인 남녀 50:50 비율 여 남 = ?
- 40. 04 Result 5. 서양인 남녀 50:50 비율 여 남 8 13 24 6 10 22
- 41. 04 Result 5. 서양인 남녀 50:50 비율 여 남 10 14 19 28 10 12 15 21
- 42. 04 Result 5. 서양인 남녀 50:50 비율 여 남 = ?
- 43. 04 Result 6. 미래 설계를 해보았습니다.
- 45. 05 Outroduction 한계점 - 남자, 어린아이 데이터가 여자데이터에 비해 제한적 전체적으로 나이가 어려질 수록 사진이 희미해 짐 남자아이가 더 흐릿함 진하고 긴 머리스타일의 경우 제거에 어려움이 있음 - 3-5세의 매우 낮은 연령대는 잘 생성되지 않음 - 낮은 배경 반영률 + 이전보다 사진과 머리,피부 톤이 더 어두워 지기도 함 - 데이터셋에 따른 결과물의 완성도 차이 발생
- 46. 05 Outroduction 의의 - 256x256 data, StyleGAN2-ada 모델 사용 : 효율성 증대 - 실제 자녀와 비슷한 모습으로 예측 - 자녀의 성별 선택 및 남녀 비율 조절, 화장 제거 가능 - 동양인 데이터를 추가하여 동양인에 최적화되면서도 서양인에게도 적절하게 적용되는 모델 구현
- 47. 05 Outroduction 발전 방향 - 남자, 아이 데이터셋을 추가하여 성별, 나이 변환 정확도 향상 - 배경 구현 능력 향상 - 해당 주제 관련 무료서비스 플랫폼 배포 - 성별, 나이를 제외한 헤어스타일, 표정, 주름, 쌍꺼풀 등 다양한 특징 변환 반영 시도
- 48. 05 Outroduction A Style-Based Generator Architecture for Generative Adversarial Networks, T. Karras, S. Laine, T. Aila, CVPR, 2018 Analyzing and Improving the Image Quality of StyleGAN, T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, CVPR, 2020 Training Generative Adversarial Networks with Limited Data, T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, NeurIPS, 2020 Reference
- 49. 05 Outroduction Reference https://www.kaggle.com/lukexng/aisanfaces/version/1 https://github.com/NVlabs/ffhq-dataset Azure Face API https://azure.microsoft.com/ko-kr/services/cognitive-services/face/ T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, CVPR, 2020, stylegan2, https://github.com/NVlabs/stylegan2(2019) T. Karras, S. Laine, M. Aittala, J. Hellsten, J. Lehtinen, T. Aila, NeurIPS, 2020, stylegan2-ada, https://github.com/NVlabs/stylegan2-ada(2020) Aydao, 2020, Stylegan2-Surgery, https://github.com/aydao/stylegan2-surgery Puzer, 2019, StyleGAN Encoder, https://github.com/Puzer/stylegan-encoder(2019) rolux, 2019, StyleGAN2 - Official TensorFlow Implementation, https://github.com/rolux/stylegan2encoder(2019)
- 51. 05 Outroduction 더 보기 2세 예측 프로그램 이용해 보기 https://bit.ly/39LA7Ow GitHub 보러 가기 https://bit.ly/2NjN0Yh 더 많은 결과를 보고 싶다면? 회고록 보러 가기 https://bit.ly/3qE16SU
- 52. Thank You Q&A