March 2022 | Issue 09

Superb AI의 올리비아입니다. 올 것 같지 않았던 지루한 겨울을 지나 봄이 마침내 찾아왔네요.🌷 코로나 확진자가 그 어느 때보다도 많아져서 조심스러운 시기지만 모두 조심하며 잘 이겨내고 앞으로 더욱 따뜻해질 봄을 즐길 수 있기를 바랍니다.
모델의 성능개선과 데이터 편향은 실무자에게 계속되는 도전을 안겨주는 큰 난제입니다. 직접 데이터 수집을 수행하면 많은 사전 설계와 질문에 답을 하는 과정을 겪게 됩니다. 중요한 질문에 답을 해가는 과정 속에서 데이터가 만들 수 있는 편견에 솔직해지는 것은 데이터 편향을 해결하고 모델의 성능을 개선시킬 수 있는 하나의 중요한 마음가짐이라 생각하며 이번 호에서는 데이터 수집의 중요성을 다뤄보았습니다. 
이번에도 유익하게 읽어주시고 가감없는 피드백 남겨주시면 참고하여 더 나은 뉴스레터로 찾아뵙겠습니다. 오늘도 바쁜 시간을 쪼개어 뉴스레터를 읽어주셔서 감사합니다. 💌

한 달에 한 번, Superb AI는 MLOps Insight를 통해 Global MLOps, Data-centric AI, DataOps 트렌드와 유익한 소식을 보내드리고 있습니다. MLOps Insight는 PC버전에 최적화 되어 있습니다.

Spotlight✨

본 글은 Go collect some $#*(&% data 을 번역 및 각색한 것으로 자세한 내용은 원글을 참고해주세요.

'데이터 수집 과정' 을 자신있게 설명할 수 있나요?

프로젝트에 사용되는 데이터는 일반적으로 1) 특정 목적을 위해 의도적으로 수집되는 데이터와 2) 어떤 이유로 수집되지만 완전히 다른 목적을 위해 용도가 변경되어 사용되는 데이터 두 가지 형태로 구분됩니다. 전자의 데이터를 수집할 때는 특정한 의도가 들어가기 때문에 많은 사전 작업이 필요합니다. 일반적으로 'data science stuff'를 배운다고 했을 때 많은 사람들은 별로 관심을 두지 않는 작업이죠. 후자 데이터의 경우 '주어진 데이터(found data)'라 불리며 누구나 쉽게 구할 수 있습니다. 데이터 과학에서 이야기하는 데이터의 대부분은 이 범주에 속합니다.

두 데이터에 대한 접근에 있어 비용-편익 차이를 고려하면, 사람들이 어떤 데이터를 더 쉽게 취할 것이라는 것은 자명해보이죠. 하지만 이 '주어진 데이터' 를 사용할 때, 그 디테일에 대해 지속적으로 의문을 가지고 살펴보지 않으면 난감한 결과를 얻을지 모릅니다. 

데이터를 직접 수집하는 과정을 겪고, 그 과정에서 여러 번 실수를 반복하는 경험은 데이터 품질과 수집이 최종 결과에 얼마나 중요한 영향을 끼치는지 알도록 하기 때문에 매우 중요합니다. 그리고 (절대라는 말은 절대 하면 안되지만) 여기서의 배움은 직접 해보지 않고는 절대 얻을 수 없다고 말하고 싶군요. '주어진 데이터' 로는 절대 배울 수 없는 것입니다. 왜냐하면 최종 결과물로 공유받은 데이터에서는 그 데이터를 수집하기 위해 초반에 어떤 설계가 의도 되었는지 알 수 없기 때문입니다. 그 안에 내재된 불가피한 편견과 타협 지점들은 데이터 수집과정에서 던진 질문에는 크게 문제가 되지 않았겠죠. 

그러나, 이 데이터가 여러분이 해결하려는 그 문제에 적합한 데이터라고 확신할 수 있습니까?
누군가 어떤 기준으로 수집한 데이터와 팀 프로젝트의 질문을 해결하기 위해 진짜 필요한 데이터 사이의 차이는 그대로 여러분의 프로젝트의 결과로 보여질 수 있죠. 

프로젝트를 성공으로 이끌기 위해 알맞은 데이터를 수집하는 일을 하는 사람들은 분명 존재하며 프로젝트에 크게 기여하고 있으나 이에 대한 적절한 보상은 이루어지지 않고 있는 것 같습니다.
프로젝트의 목적에 맞는 데이터 수집의 중요성을 재고하며, 고품질 데이터셋을 만들기 위한 과정에 더 많은 관심과 주의를 기울여야 합니다. 

 Superb AI Insight ✨

Suite의 오토라벨링으로 모델 학습시키기

데이터 라벨링과 분류 작업을 어떻게 접근해야 하는지 이해하는 것은 성공적인 컴퓨터 비전 모델을 구축하기 위한 첫걸음입니다. Suite의 오토라벨링 기술을 통해 이 작업을 얼마나 직관적으로 해낼 수 있는지 알려드릴게요!

데이터 플랫폼과 모델 실험 플랫폼의 결합

머신러닝 데이터 플랫폼 Suite와 모델 실험 플랫폼 Comet을 활용하여 데이터와 모델간의 파이프라인을 만들어봤습니다. 이를 통해 우리 머신러닝 팀이 개선할 수 있는 작업이 무엇이 있을지 살펴보세요.

데이터 라벨링 방법 총망라, 당신의 선택은?

데이터 라벨링 전략마다 각기 다른 장단점을 면밀히 알고 계신가요? 프로젝트 및 인력 상황에 맞는 데이터 라벨링 전략을 세우기 위해 지금 당장 읽어야 할 콘텐츠는 바로 이것!

 그 외 흥미로운 이야기들 

2022 THE AI INDEX REPORT 발간 📑

스탠포드가 매년 발간하는 AI 인덱스 2022 리포트가 발간되었습니다. 2021년 투자한 AI 기업의 수로는 한국이 미국, 인도, 이스라엘 다음으로 4위를 기록했습니다. 핵심 소식만 보시려면 이 기사를 참조하세요.
 

📹 웨이모 Open Dataset Challenges 2022 소식

불균형 데이터셋을 해결하는 또 하나의 솔루션 💡

Gesture Recognition Dataset : Jester🌈

간단한 제스쳐 인식기능으로 제품에 재미와 편의성을 줄 수 있죠. 핸드폰 뿐만 아니라 구글 홈 같은 스마트 홈 어시스턴트 제품에서도 손바닥으로 화면을 정지 및 재생하거나 사진을 넘길 수 있습니다. 저희 팀도 썼었던 mmhmm이라는 비디오 앱에서는 하트모양이나 엄지 손가락을 치켜세우는 등의 제스쳐를 인식하여 이모지를 보여줌으로써 더 인터랙티브한 영상을 만들 수 있도록 하기도 합니다. 모바일 컴퓨팅 시대에 더욱 유용하고 중요해진, 퀄컴의 제스쳐 데이터셋을 공유합니다.

흥미로운 컴퓨터 비전 프로젝트 : ✍️ Pen Tracking Algorithm
펜의 움직임을 추적하는 컴퓨터 비전 프로젝트 개선을 위해 무엇을 해봐야할까요? Kalman filter, shadow detection, active learning 등과 관련된 커뮤니티의 조언 댓글도 놓치지마세요. Active learning에 대해 더 궁금하시다면 Active Learning 101을 읽어보세요.

ML분야에서 일하고 있다면 새겨들을 5가지 커리어 조언 👂

 "4년 전만해도 제가 볼 수 있었던 ML분야의 일반적인 직업은 과학자나 엔지니어였지만 지금은 데이터 분야, DevOps, 클라우드 등의 다양한 니즈를 충족하는 직업군들이 계속 생기고 있고 다양한 배경을 가진 사람들이 필수적입니다. 따라서 당신이 가진 비즈니스 배경을 셀링 포인트로 가지세요!" 더 읽으러 가기

포인트 클라우드✨

Word2Vec 기법과 2D상의 포인트 클라우드로 만든 단어추측 게임을 소개합니다. 가운데 노란별에 가까울수록 정답과 의미적으로 가까운데요. 수십 번의 추측 끝에 similarity 100을 맞춰내는 것 꽤 짜릿합니다! 😆

📣Lidar 센서로 수집되는 3차원상의 점(포인트)들의 집합(클라우드)인 포인트클라우드 데이터를 Suite가 곧 지원합니다. Coming soon🚀