요즘 AWS Summit, Google I/O 등, 빅테크 기업들의 컨퍼런스가 많이 열리고 있는데요. 저희 슈퍼브에이아이도 어제부터 열렸던 AI EXPO KOREA 참여 준비와 오랫동안 준비해 왔던 새로운 제품을 출시하느라 바쁘게 지내왔답니다! AI EXPO KOREA에서 슈퍼브에이아이 부스도 만나보실 수 있으니, 관심 있는 구독자분들께서는 참여해 보시면 좋을 것 같습니다! (부스에서 새 제품의 데모도 진행한답니다?!👩💻)
이번에 출시한 제품은 바로 Superb Curate(슈퍼브 큐레이트) 인데요! AI 임베딩과 데이터 검색 기능을 결합하여, 사용자의 상황에 맞게 데이터를 선별(Curation)하고 데이터 관리를 도울 수 있는 제품입니다. 이로써 Data-Centric AI를 지향하는 MLOps 플랫폼으로 한 발짝 더 성장하게 되었습니다. 새로운 제품에 대한 자세한 소식은 뉴스레터 하단에 넣었으니 많은 관심 부탁드립니다!🙏
고성능의 AI 모델이 많이 공개되면서, 대규모의 데이터를 가지고 있는 회사는 대규모 데이터만 있다면 고성능의 AI 모델 구축이 가능하다고 생각할 수 있습니다. 하지만 데이터의 규모와 AI 모델의 성능은 반드시 비례하지 않습니다. 또한 데이터의 규모가 작아서 좋은 AI 모델을 구축할 수 없다는 것도 명제가 아니지요! 그럼 어떻게 좋은 성능의 AI 모델을 만들 수 있을까요?🙃
결론부터 강조하면, 좋은 성능의 AI 모델을 구축하기 위해서는 대규모 데이터가 필요하지 않고, 좋은 품질의 데이터가 필수라는 것입니다. 대부분의 AI 모델이 고정된 입력과 출력으로 구성된 지도 학습(supervised learning) 방식을 사용하는데요. 이때, 데이터셋의 크기보다는 데이터셋의 품질이 더 중요합니다. 그렇다면 고품질의 데이터셋은 어떻게 만들까요?
바로, 좋은 데이터를 선별하여 품질을 향상시키는데이터 선별(Curation)작업을 통해 데이터셋을 구성하는 것입니다. 물론 좋은 품질의 데이터를 위해서는 데이터 수집, 정제, 라벨링 등의 작업에 충분한 시간과 노력이 필요해요🧐 그리고 대규모 데이터셋을 구축하는 것은 비용과 시간 측면에서 매우 부담스러울 수 있기 때문에, 작은 데이터셋으로부터 출발하여 점진적으로 모델을 개선해 나가는 것이 좋습니다. 예를 들어 개(Dog) 이미지 데이터가 있는데, 개의 품종이 진돗개만 있는 데이터셋이라면, 해당 데이터셋으로 학습된 AI 모델은 과연 다른 품종의 개 이미지가 들어왔을 때, 정확하게 예측할 수 있을까요..?🐕 이렇듯, 초기 데이터셋에서는 가장 중요한 데이터를 우선적으로 선별하고, 이후에 추가 데이터를 수집하거나 기존 데이터를 보완하여 점진적으로 데이터셋의 품질을 향상시켜 나가는 것이 중요한 포인트입니다.
덧) 저희 슈퍼브에이아이에서는 이러한 데이터 선별에 있어서 도움을 드리기 위해 Superb Curate를 열심히 만들어 출시하게 되었는데요! Superb Curate의 오토 큐레이트(Auto-Curate) 기능을 통해 아래와 같이 4가지 옵션으로 데이터를 선별해 드립니다.
라벨링 할 데이터 선별(Curate What to Label)
학습/검증 데이터셋 선별 (Split Train/Validation Set)
특이 데이터 찾기 (Find Edge Cases)
라벨링 오류 찾기(Find Mislabels)
여러분은 어떤 데이터가 필요하신가요?! 데이터 관리에 필요성을 느끼고 있는 분들이 계시다면 슈퍼브에이아이를 찾아주세요! 🙏
Learning & Other Insights🌟
AI의 대부 Geoffrey Hinton, AI 안전에 대해 공개적으로 논의하기 위해 Google에서 사임
AI의 "대부"라고 불리는, Geoffrey Hinton이 Google을 떠난 빅뉴스! 다들 아시나요? NYT의 기사에 따르면 그는 자신의 인생 작품을 후회하기 시작했다고 말하기까지 했다는데요?! 링크에서 더 자세한 내용을 확인하실 수 있습니다!
OpenAI의 CEO Sam Altman 및 공동 창립자 Greg Brockman과 함께 인류를 위한 안전하고 유익한 AI를 개발하기 위한 여정과 사명에 대해 이야기하는 팟캐스트 에피소드를 소개합니다! 이 에피소드에서는 GPT-4의 탄생과 에너지, 의학, 교육과 같은 다양한 산업에 미치는 영향에 대해 이야기했다고 합니다.
TPU v4: 임베딩을 위한 하드웨어 지원이 있는 기계 학습을 위한 광학적으로 재구성 가능한 슈퍼컴퓨터💻
이 논문에서는 광학 회로 스위치를 이용하여 SparseCore라는 임베딩 기술을 사용해 모델 가속화에 대한 확장성, 가용성, 활용도, 모듈성, 배포, 보안, 전력 및 성능을 개선했다고 합니다. 이 기술은 기존 비슷한 크기의 시스템과 비교하여 속도와 에너지 효율성이 크게 향상된다고 하네요! 링크에서 살펴보세요!
그동안 베타 버전으로 제공되었던 Superb Curate를 이제 공식적으로 선보일 수 있게 되었습니다!! “어떤 데이터를 먼저 라벨링 해야 할까?”, “어떤 데이터를 모델 학습에 사용하고, 어떤 데이터를 모델 성능 검증에 사용해야 할까?"와 같은 질문을 한 번쯤 생각하셨다면, 지금 바로 링크를 확인하세요!
오토 큐레이트(Auto-Curate)로 라벨링 리소스 절감하기:
MS COCO 사용 실험 사례
Superb Curate의 오토 큐레이트(Auto-Curate) 기능으로 어떻게 라벨링 리소스를 절감할 수 있는지, 그리고 어떻게 강건한 객체 탐지 모델 개발에 기여할 수 있는지 MS COCO 데이터셋을 활용해 설명해 보았습니다. 지금 바로 확인하세요!
이번 달 MLOps Insight 어떠셨나요? 여러분의 솔직한 피드백이 필요합니다! 이번호 소감 남기러 가기
