머신러닝 플랫폼을 관리할 때는 성능, 사용자의 참여 및 운영 효율성을 이해하는 것이 중요하다는 것! 모두 알고 계실 것으로 생각합니다. 이를 위해 측정해야 할 항목들을 알고 플랫폼을 관리하고 운영하는 것 또한 중요할 텐데요. 아래 항목과 같이, 머신러닝 플랫폼을 모니터링하고 개선할 때 살펴보면 좋을 7가지의 지표를 확인할 수 있습니다.
머신러닝 플랫폼의 핵심 지표 7가지:
변경부터 실행까지의 시간 (CTE)
CI/CD 프로세스의 효율성을 나타냅니다.
코드 변경부터 파이프라인 실행 시작까지 걸리는 시간을 측정해 볼 수 있습니다. 이 지표로 CI/CD 프로세스가 얼마나 효율적으로 진행되었는지에 대한 인사이트를 얻을 수 있습니다.
개선 방안: 자동화 트리거 최적화, CI/CD 과정 효율화
엔지니어당 실험 수 (EPE)
엔지니어의 참여도와 플랫폼 가치를 나타냅니다.
이 지표가 높을수록 엔지니어당 더 많은 실험이 수행되고 있음을 알 수 있고, 적극적인 참여를 의미할 수 있습니다.
개선 방안: 실험 문화 활성화, 교육 및 리소스 제공
실패까지의 시간 (TTF)
자원 절약 및 시간 효율성을 나타냅니다.
파이프라인에 오류가 발생하는 데 걸리는 평균 기간을 나타냅니다. 초기 장애를 감지하는 메커니즘을 통해 지표의 값을 낮춘다면, 리소스와 시간이 절약될 수 있겠죠. 이 지표를 통해서, 장애를 미리 감지하고 장기적인 리소스를 절약해 줄 수 있는 플랫폼인지 확인해 볼 수 있습니다.
개선 방안: 초기 실패 감지 메커니즘 구현, 에러 처리 및 피드백 플로우 개선
편향되지 않은 성공률 (USR)
플랫폼의 안정성과 강도를 나타냅니다.
사용자에 의해 발생한 오류를 제외했을 때의 파이프라인 성공률을 반영합니다.
개선 방안: 플랫폼 안정성 강화, 문서화 향상
파이프라인 평균 실행 시간 (PAR)
파이프라인의 효율성과 성능을 나타냅니다.
이 지표는 파이프라인이 처음부터 끝까지 실행을 완료하는 데 걸리는 평균 시간을 나타내는데요. 낮은 런타임은 플랫폼의 효율성과 성능을 확인할 수 있습니다.
개선 방안: 코드 리팩터링, 리소스 최적화
파이프라인 비효율성 지수 (PEI)
파이프라인의 성능 지연 및 자원 사용을 나타냅니다.
이 지표는 파이프라인의 성능이 저하되거나 과도한 리소스를 소비할 수 있는 영역을 측정합니다. 이 지표가 낮을수록 파이프라인이 더 효율적이라는 것을 알 수 있습니다.
개선 방안: 병목 현상 식별 및 수정, 효율성을 위한 파이프라인 내 작업 간소화
출시까지의 시간
모델의 배포 속도와 효율성을 나타냅니다.
모델의 시작부터 최종 배포 또는 최종 사용자에게 전달되기까지의 기간을 나타냅니다. 이 지표가 짧을수록 모델의 배포 주기가 더 빨라질 수 있습니다.
개선 방안: 팀 간 협업 강화, 배포 프로세스 간소화, 자동화된 배포 도구 활용
이렇게 머신러닝 플랫폼을 사용할 때 확인해 보면 좋을 7가지 지표를 살펴보았는데요. 이러한 지표들을 측정하여 최적화한다면 성능 향상, 사용자 만족도 증대, 운영 효율성을 달성하는 데 도움이 되실 거라 생각됩니다. 하지만 지표는 지표일 뿐! 숫자만 확인하는 것이 중요한 게 아니죠. 지표를 통해 프로세스에 어떤 문제가 있었는지, 어떤 부분에서 병목(bottleneck)이 있었는지 체크하는 것이 중요합니다. 또한 양질의 피드백을 통한 개선과 지속적인 관찰이 병행되어야 최상의 결과를 얻을 수 있습니다.
저희 Superb AI Platform 또한, Superb Model이 출시되어 데이터 선별부터 모델 학습 및 배포까지 전 과정을 하나의 플랫폼에서 사용하실 수 있게 되었는데요! 진정한 MLOps 플랫폼으로서의 준비를 완료했습니다. Superb AI Platform으로 MLOps 파이프라인을 만들면 어떤 뛰어난 지표를 얻을 수 있을지, 궁금하시지 않으신가요?🤩
Superb Insight🌟
🆕 슈퍼브에이아이 플랫폼 - 한국어 버전 출시!
슈퍼브 플랫폼이 한국어 업데이트가 진행되었습니다🥳 이제 슈퍼브 플랫폼 내 모든 제품(라벨, 큐레이트, 모델)에서 영어, 일본어, 한국어의 총 3개의 다국어를 지원합니다! 지금 바로 한국어로 슈퍼브에이아이 플랫폼을 사용하러 가보실까요?
🆕 Superb Model을 소개합니다💁
컴퓨터 비전을 도입하려고 계획 중이거나 이미 도입 초기인 회사들이 흔히 직면하는 문제들을 간편하게 해결해 줄 수 있는 제품, Superb Model을 소개합니다! Superb Model은 누구나 AI를 도입할 수 있도록 고성능의 AI 모델을 코딩이나 ML 지식 없이도 학습 시키고 배포할 수 있게 도와드립니다👍
Learning & Other Insights🌟
Hugging Face - Falcon 180B 출시
Hugging Face에서 1,800억 개의 매개변수를 갖춘 공개적으로 사용할 수 있는 가장 큰 언어 모델인 TII의 Falcon 180B를 소개합니다. Falcon 180B의 아키텍처, 기능, 하드웨어 요구 사항 및 프롬프트 형식에 대한 자세한 내용을 확인해 보세요!
Meta는 OpenAI의 GPT-4와 경쟁할 목표로 새로운 AI 챗봇 모델을 훈련시킬 준비를 하고 있는 것으로 알려졌습니다. 회사는 정교한 챗봇 개발을 위해 AI 트레이닝 칩을 확보하고 데이터센터를 확장하고 있다고 하는데요! 자세한 내용은 링크에서 확인하실 수 있습니다!
전 OpenAI 직원들이 공동 창업한 스타트업 Anthropic이 AI 기반 챗봇인 Claude 2에 대한 첫 번째 프리미엄 구독 플랜인 Claude Pro를 출시했다고 합니다. Anthropic은 OpenAI의 ChatGPT Plus와 경쟁하여 Claude Pro를 선보였다고 하는데요. 더 자세한 내용은 링크에서 확인해 보세요!
이 논문에서는 대규모 자동 오디오북 생성을 위한 획기적인 시스템을 소개합니다. 신경망 텍스트 음성 변환 및 확장 가능한 컴퓨팅의 발전을 활용하여 시스템은 사용자 생성 음성을 포함해 다양한 말하기 스타일과 음성이 포함된 수천 개의 고품질 오픈 라이선스 오디오북을 생성할 수 있다고 하는데요! 지금 바로 확인해 보시죠!
AI for Good: A discussion on addressing real-world problems with AI
Andrew Ng, Robert Monarch, Juan Lavista Ferres 및 Iva Gumnishka가 포함된 전문가 패널들이 함께하는 이벤트에 참여하여 AI가 세상에 긍정적인 영향을 미치는 방법에 대해 자세히 알아보세요! 이 이벤트는 Microsoft의 AI For Good Lab과 강사 Robert Monarch가 협력하여 만든 DeepLearning.AI의 전문 분야인 AI For Good에서 영감을 받았다고 하는데요! 온디맨드도 제공된다고 하니, 평소 관심 있던 주제라면 지금 등록해 보세요!
