April 2022 | Issue 10

*MLOps Insight를 혹시 포워딩 받으셨다면 여기에서 구독하실 수 있습니다.

Superb AI의 올리비아입니다. 🌸 '당당한 디자인 결정을 위한 9가지 방법'📖이라는 책에서 괜찮은 디자이너와 훌륭한 디자이너의 차이는 다른 사람이 확신을 갖고, 동의하며, 다음 절차로 나아가게끔 지지하도록, 디자인이 어떻게 문제를 해결하는지 잘 표현하는 능력에서 온다고 하는데요. 어떤 직무에 있든 이런 의사소통 능력은 중요하다는 생각이 듭니다. 💬 이해관계자들이 어떤 생각을 하고, 왜 그렇게 행동하는지 파악하며, 수집한 정보들을 모두에게 유용한 형태로 활용할 수 있어야 하죠.

제가 만났던 어떤 ML 실무자는, 가끔은 내가 엔지니어인지 아니면 설득하는 일이 주 업무인지 헷갈리기도 한다고 하셨는데요. 항상 함께 일하는 상대가 '사람' 임을 잊지말고, 서로 다른 입장을 존중하며 공동의 목표를 향해 달려가고 있음을 중간 중간 상기하는 것이 중요한 것 같습니다.
이번 한 주도 동료와의 긍정적인 협업 경험이 가득하길 바랍니다.💪
많은 내용을 나누고 싶어 너무 길어진 뉴스레터가 된 점 용서하세요 흑흑 😥
 
한 달에 한 번, Superb AI는 MLOps Insight를 통해 Global MLOps, Data-centric AI, DataOps 트렌드와 유익한 소식을 보내드리고 있습니다. MLOps Insight는 PC버전에 최적화 되어 있습니다. 

Spotlight✨

본 글은 Datasheets for Datasets를 번역 및 각색한 것으로 자세한 내용은 원글을 참고해주세요.

머신 러닝에 있어 데이터가 중요함에도, 데이터셋을 문서화하기 위한 표준화된 프로세스를 갖춘 조직은 드뭅니다. 데이터셋을 위한 데이터시트를 만들자는 이니셔티브는, 투명성과 책임감을 높이고 사회적 편견을 완화하기 위한 목적 뿐 아니라, 연구자와 실무자 사이의 데이터 관련 커뮤니케이션을 더 원활하게 하기 위해 시도되었습니다. 데이터시트에 들어가는 항목은 데이터에 따라 달라질 수 있지만 기본적으로 다음의 7가지 카테고리 (동기, 구성, 수집 프로세스, 전처리/정제/라벨링, 쓰임, 배포, 유지)로 나뉜 질문을 통해 실무자가 데이터시트에 필요한 내용을 채울 수 있도록 제안합니다.

그러한 질문들의 일부를 소개합니다.

• 데이터셋은 하위 집단을 식별하는 내용을 포함합니까? (나이나 젠더 등)
• 데이터셋이 더 큰 집단의 샘플일 경우, 어떤 샘플링 전략을 이용했습니까?
• 데이터 수집 프로세스에 참여자는 누구고 보상을 지불했습니까?
• 이 데이터셋이 이미 어떤 프로젝트에 사용된 바가 있습니까?
• 이 데이터셋을 사용하면 안되는 프로젝트가 있습니까?
• 이 데이터셋은 업데이트가 이루어지고 있습니까?
• 데이터셋의 소유자나 관리자에게 연락을 하는 방법을 알고 있습니까?

이런 질문을 던지고 답하는 과정은 간단하지 않을 것입니다. 하지만 이 비용은, 데이터에 대한 온전한 이해에서 비롯될 이점에 비하면 결코 크지 않습니다. 이는 부적절한 데이터 사용과 전처리에서 비롯된 일련의 사건을 통해 이미 알려진 바죠. 위의 질문을 던져보지 않은 데이터셋을 사용하고 있다면 Datasheets for Datasets 를 참고해보실 것을 강력 추천합니다❗

 Superb AI Insight ✨

📣 Superb AI의 커뮤니티 밋업, 온라인 데이터라운드 테이블 2회 !
리서치와 프로덕션 업무가 공존하는 팀에서 어떻게 균형을 잡아야 하는지, 빠르게 변화하는 기술팀 팀장으로 일하면서 어떤 고민들을 하는지 나누는 자리에 함께 해주세요.

• 일시 : 2022년 4월 27일 수요일 19:30 ~ 21:30
• 주제 : <팀장의 일 : 더 좋은 ML팀을 만들기 위한 팀장들의 고군부투기>
  • 강재욱 : AI 모델팀 매니지먼트 노트 <팀의 성장과 나의 성장 사이에서>
  • 정민우 : 프로덕션 ML팀에서 일한다는 것 <세 개의 ML팀 이야기>

데이터 라운드 테이블은 커뮤니티를 위해 발표해주시는 연사님들의 발표와 참여하는 다양한 실무자와의 네트워킹으로 이루어진 커뮤니티 밋업입니다.

 그 외 흥미로운 이야기들 

💃 딥러닝을 활용한 교차편집 영상을 만들어봅시다!

AI 데이터 라벨링을 비효율적으로 만드는 5가지 실수 😱
데이터 라벨링 과정은 결코 일회성 작업이 아니며, 그렇기에 이만하면 최고의 모델 성능이 나올 거라고 장담할 수 있는 지점이란 건 없죠. 이건, 라벨링 과정에는 언제나 개선의 여지가 있다는 것을 의미합니다. 5가지 모두 공감가지만, 특히 3번 데이터 인력 관리에 소홀하다는 조직의 문제는 Superb AI도 집중하고 있는 이슈 중 하나입니다. Suite에서 제공하는 인력 관리 기능으로 해결의 실마리를 찾아보세요.


머신 러닝 실무자를 위한 메타데이터 및 그 의미에 대한 모든 것
데이터를 위한 데이터라고 불리는 메타데이터, 얼마나 알고 계신가요? 머신 러닝의 모든 라이프사이클 단계에서 메타 데이터를 생성한다고 이야기하고 있는데요. 각 단계에서 던져야 할 질문들과 메타 데이터 관리의 중요성을 담은 이 포스팅을 읽어보세요.


Multitask Learning Pros and Cons 💣

Backbone 모델의 일반화 능력 개선을 하기 위한 하나의 학습 기법인 Multitask Learning 대해 잘 정리된 영상을 추천합니다. 실제로는 이와 유사한 Transfer Learning이 더 많이 사용되고 있는데요. 두 기법의 차이 그리고 Multitask Learning의 장단점을 배워보세요.

PaLM(Pathways Language Model) 

Pathways 로 훈련된 5,400억개의 매개변수(GPT3의 1,750억개에 비교하면 훨씬 많죠)를 지닌 고밀도 디코더 전용 transformer 모델, PaLM이 발표되었는데요. 현존하는 모든 초거대 모델 성능을 능가한다고 해서 주목을 받고 있습니다. 하지만 이런 초거대 언어모델을 사용하는 것에 대한 우려는 여전합니다. 학습데이터가 너무 커서 문서화할 수 없다면, 그 특성을 이해하기 더욱 어려워지기 때문이죠.


Global Tracking Transformers (GTR)
동영상의 여러 객체를 추적하는 Transformer기반의 물체 추적 기술로, 동영상에서 생성된 프레임 이미지에서 객체의 특징을 인코딩하고 trajectory queries를 사용하여 각 객체를 추적합니다. 일반 추적 방법들이 잘 안되는 유형에서 강력할 것 같은데요! 

DINO 최초 외부 데모 공개

Meta AI는 작년에 컴퓨터 비전을 위한 SSL(Self-Supervised Learning, 자기 지도 학습)기반의 모델인 DINO를 발표했는데요. 최근, momentum teacher와 multicrop training이라는 두 가지 SSL의 방법론을 기반으로 한 DINO의 데모를 외부로 처음 공개했습니다. 관심있으시다면 지금 체험해보세요! 

[논문읽기] 📹 Competition-Level Code Generation with AlphaCode💡