December 2021 | Issue 06

Superb AI의 올리비아입니다. Community Edition 뉴스레터 MLOps Insight가 발행 6호만에 구독자 3,000명을 달성했습니다! 짝짝짝! 🎉
이번호에서는 벤치마크 데이터셋에 대한 이야기를 중점으로 담아봤어요. 또, 여러분의 목소리를 담을 수 있는 피드백 버튼을 넣어봤는데요. 잘 읽고 있다는, 아쉽다는 다양한 의견 🎤모두 환영합니다.

한 달에 한 번, Superb AI는 MLOps Insight를 통해 직접 엄선한 Global MLOps, DataOps 트렌드와 유익한 소식을 보내드리고 있습니다. 

Global MLOps Insight ✨

본 글은 A Cartel of Influential Datasets Is Dominating Machine Learning Research, New Study Suggests 을 번역 및 각색한 것으로 자세한 내용은 원글을 참고해주세요.

데이터셋에도 마태효과(Matthew Effect)가 있다 ?!

마태효과는 로버트 머튼이라는 저명한 연구자가 만들어낸 개념으로, 부익부 빈익빈, 승자독식 현상을 의미합니다. 우위와 열위가 더 강화되면서 그 격차가 벌어지는 현상이 과학자 사회에도 일어난다는 것을 지적하기 위해 사용되었는데요. 한 논문에서 벤치마크 데이터셋 사용현황을 통해 데이터셋 사용의 불평등함을 지적했습니다. 인공지능의 겨울 이후에 도입된 이 벤치마크 데이터셋이 얼마나 머신러닝 연구에 핵심지표가 되어왔는지와 비교해서 이를 어떻게 사용해왔는지에 대한 관심은 너무 적었다며 말이죠. 이 논문의 한 리뷰어는 "이러한 데이터셋 문제는 머신러닝 연구자라면 반드시 살펴봐야 할 이슈"라며 학과 과정에 이 논문도 포함되어야 할 것이라고도 덧붙였습니다. 

"우리는 전 세계적으로 데이터셋 사용의 불평등이 증가하고 있으며, 샘플의 50% 이상이 12개 엘리트 기관에서 만든 데이터셋을 사용한다는 것을 발견했습니다."

<Reduced, Reused, Recycled>라는 이 논문의 저자는 이러한 현상은 NLP보다 컴퓨터 비전 데이터셋에서 더 흔히 일어나고 있으며, 요즘 떠오르는 이미지 생성 및 합성에도, 애초에 이를 위해 만들어지지 않았던 오래된 데이터셋에 과하게 의존해왔다는 부분 또한 지적합니다.

저자는 Data-centric AI, 그리고 From big data to good data 라는 화두를 가져오며 다양한 데이터셋의 도입과 고품질 데이터셋의 중요성을 설파한 Andrew Ng의 의견에 지지를 보태면서도 SOTA 결과나 저명한 데이터셋에 의존하는 현 세태가 이러한 움직임에 걸림돌이 될 수 있을 거라는 우려를 표했습니다.

"저희의 연구는 ML 연구자들이 더 많은 데이터셋을 구축하고 그것이 보상받는 인센티브 구조를 만드는 것만으로는 데이터셋 사용을 다양화 하는 데 충분하지 않을 수 있음을 시사합니다. 데이터셋 구축을 장려하는 것 외에도, 리소스가 작은 기관의 사람들이 고품질 데이터셋을 만들 수 있도록 자금을 우선적으로 지원하는 것을 장려합니다. 이는 현대의 ML방법론을 평가하는 데 사용되고 있는 데이터셋을 다양화할 수 있을 것입니다."

조직의 규모에 관계없이 AI를 만들기 위한 데이터에 대한 접근성이 동일해야 합니다. Superb AI는 리소스가 적은 조직도 고품질 데이터셋 구축할 수 있는 Suite와 고품질 데이터셋을 제공해드리고 있습니다. 보다 목적에 부합하는 고품질 데이터셋으로 여러분의 모델성능을 높이는 방안을 저희 팀과 상의해보세요. 잠깐의 커피챗을 원하신다면 ------------------------------->💌Superb AI 팀에 연락해보기

Superb AI Insight ✨

Superb AI와 WhyLabs가 만나다 : 데이터 라벨링과 데이터 모니터링을 한 번에

두 플랫폼이 서로 상호보완적으로 결합하여 고품질 데이터 구축 및 지속적인 모델을 개선할 수 있는 시나리오를 공개합니다. 두 플랫폼을 통해 어떻게 팀의 목표를 달성할 수 있을지 살펴보세요 💪

 그 외 흥미로운 MLOps 이야기들 

프로덕션을 위한 MLOps를 위한 글로벌 기업들의 시행착오를 한 데 모았어요!

글로벌 기업의 CTO, 엔지니어 등의 전문가가 목차별로 모아둔 '프로덕션을 위한 ML시스템 설계 Must Read' 리스트가 공개되었습니다. MLOps 와 관련하여 한국의 많은 실무자들이 참고로 하는 기업인 Uber, Airbnb, Netflix, Twitter 등이 대거 포함되었네요! 📑보러가기

틱톡 추천 알고리즘의 비밀 🤐
내부 알고리즘 팀이 작성한 TikTok Algo 101 문서를 뉴욕타임즈가 입수하여 일부 공개했습니다. 틱톡은 짧은 영상을 매개로 하기에 단기간에 더 많은 데이터를 쌓을 수 있는데 이는 비즈니스의 목표인 'DAU 높이기'에 사용됩니다. 이 목표에 가장 중요하게 여겨지는 요소가 앱 사용시간과 리텐션이었죠. 머신러닝 예측과 사용자의 세 가지 행동데이터(좋아요, 댓글, 재생 시간)를 합산하여, 가장 높은 점수를 받은 비디오를 사용자에게 보여주고 이미 보여준 비디오에는 패널티를 주는 식의 알고리즘이 작동하고 있었습니다. 틱톡에 대한 여러 우려가 많지만, 이 문서를 검토한 교수는 그들의 알고리즘이 totally reasonable, but traditional한 공식이라고 답했습니다. 📑전문읽기

PyTorch vs TensorFlow in 2022
모델의 가용성, 배포 인프라, 그리고 생태계의 크기를 중점으로 PyTorch 와 TensorFlow를 집중 비교분석 했습니다. 📑전문읽기

Mislabeled 데이터셋 가려내기🔎
PR12 논문읽기 모임에서 올려주신 귀한 한글로 된 자료입니다. 벤치마크 데이터셋에서 어떻게 잘못 라벨링된 데이터셋을 찾을 수 있는지에 대한 방법론을 연구한 논문을 읽어주셨는데요. the Area Under the Margin Ranking를 이용해서 데이터셋을 좀 더 정교화할 수 있었다고 합니다.  👀함께 보러가기

CS224n NLP with Deep Learning 2021 winter☃️강의 오픈 소식!
외부인원의 청강은 어렵지만 자료는 모두 공개되었으니 한 번 살펴보세요. 📑보러가기