[20210502] Weekly AI Arxiv 만담 #8
Description
- AI News
- 화웨이의 GPT3 https://venturebeat.com/2021/04/29/huawei-trained-the-chinese-language-equivalent-of-gpt-3/
- NSCAI Executive Summary: https://www.nscai.gov/wp-content/uploads/2021/03/Final_Report_Executive_Summary.pdf
- Part I: Defending America in the AI Era.
- Defend against emerging AI-enabled threats to America’s free and open society
- Prepare for future warfare.
- Manage risks associated with AI-enabled and autonomous weapons.
- Transform national intelligence. (AI를 적극적으로 활용해서 국가전체의 intelligence로)
- Scale up digital talent in government. (정부, 국방 관점에서 AI전문가 확충 필요 - 어느나라나 비슷하네요 ㅎㅎ)
- Establish justified confidence in AI systems.
- Present a democratic model of AI use for national security (AI 활용의 신뢰가능성 보장)
- Part II: Winning the Technology Competition.
- Organize with a White House–led strategy for technology competition. (우리도.. 좀...)
- Win the global talent competition. (더 강력한 국내 인재 양성, 해외 인재 흡수정책 하자는.. 아.. 큰일.. 우리도 Visa 이슈부터 빠르게 좀..)
- Accelerate AI innovation at home.
- Implement comprehensive intellectual property (IP) policies and regimes. (AI 공유 철학의 시대에 변화가 올지도..)
- Build a resilient domestic base for designing and fabricating microelectronics. (AI 요소 기술-반도체 포함 해외 의존도 이슈)
- Protect America’s technology advantages.
- Build a favorable international technology order.
- Win the associated technologies competitions. (AI가 전부가 아니다. 5G, 반도체, 바이오, 퀀텀등과 연계해야)
- 한글요약 버전: KISA Report by 한상기 테크프런티어 대표
- Part I: Defending America in the AI Era.
- ICLR 드디어 시작:
- SNU AI Retreat 2021
- ArXiv
- RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems
- a scalable, modular, differentiable simulator implemented in Edward2 and TensorFlow.
- https://github.com/google-research/recsim_ng
- Privacy-Preserving Portrait Matting
- 상반신 image matting의 경우는 얼굴등 privacy 이슈가 존재함
- 얼굴이나 identity 구분 가능한 부분을 blurr 처리한 데이터인 P3M-10k 공개하겠다고 함 (coming soon)
- Trimap-based 외 Trimap-free 한 P3M-Net도 제안
- Experts, Errors, and Context: A Large-Scale Study of Human Evaluation for Machine Translation
- 기계번역(꼭 여기만의 문제는 아니고요) 에서 사람평가는 품질관리에 아주 중요한 요소
- 그런데 좀 여러가지로 헛점이 많음.
- 구글리서치에서 훨씬 체계적인 사람평가 프로토콜, 메트릭 제안
- Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety
- 독일 유수의 AI연구그룹 및 연구자들이 함께 책처럼 만든 서베이 자료
- AI safety 와 관련하여 매우 폭넓은 연구주제들을 정리하고 있어서 그냥 공부하는 데 활용해도 될듯
- 다만 각 섹션별로 아주 SOTA 들이 누락된 것들은 있긴함 (20년 이후 것들 제외)
- 그럼에도 불구하고 전반적 흐름 잡는데는 꽤 유용할 듯 (단.. 분량 주의 94 페이지..)
- TabAug: Data Driven Augmentation for Enhanced Table Structure Recognition
- 최근 OCR의 가장 실용적인 응용분야 테이블 인식
- 이를 위한 augmentation 기법 제안
- https://github.com/sohaib023/splerge-tab-aug
- How Well Self-Supervised Pre-Training Performs with Streaming Data?
- Self-supervised training을 stream data 시나리오에서 수행
- 그리고 transfer learning에 적용
- 기존 practical 활용이 제한적이었던 continual learning이 좀더 practical 해 질것인가? 그런데 pretraining하는데 이걸 꼭 stream 형태로 pretraining할 이유가 있을까? 즉 모아서 한방에 하면 정말 안되나?
- https://arxiv.org/abs/2104.14314v1
- 러시아의 NLU 벤치마크 성능에 대한 정확도외에 속도까지 비교하는 프레임워크
- https://github.com/sberbank-ai/ru-gpts: 스베르방크에서 제공하는 러샤 GPT3
- What Are Bayesian Neural Network Posteriors Really Like?
- Bayesian NN 관심많은 분들께 좋은 자료가 될 듯
- approximated 된 학습기법 대비 full-batch 기반 HMC 썼을때 어떻게 달라지는가? 그리고 ensemble 류등도 비교.
- Ensembling with Deep Generative Views
- latent code를 살짝 바꾸고 StyleGAN2 이용해서 다양한 view 이미지 생성 --> classsifier test-time ensemble에 적용
- https://github.com/chail/gan-ensembling
- A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning
- Facebook 연구, CVPR 2021
- 기존 Image 도메인의 대표 Self-supervised 를 다양한 아키텍처 조건등으로 video 에적용 (MoCo, BYOL, SimCLR, SwAV)
- https://github.com/facebookresearch/SlowFast
- 왜 study앞에 large-scale이 있을까...
- RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems