안녕하세요 🙌  MLOps Insight 구독자 여러분, Product Advocate 정현지입니다 :)

어느덧 한층 꺾인 더위와 함께, 추석 명절이 코앞으로 다가왔네요!

이번 명절에는 조금은 여유롭게 시간을 보내실 계획이신가요? 구독자 여러분 모두 사랑하는 가족과 함께 따뜻하고 풍성한 시간을 보내시길 기원하겠습니다🙏

이번 호에서는 "GPT-4o와 멀티모달 기술의 변천사"에 주목합니다. Spotlight 섹션을 통해 GPT-4o의 혁신적인 기능과 그 배경에 있는 멀티모달 기술의 진화에 대해 알아보실 수 있도록 준비해 보았는데요! 가족과 함께 풍성한 시간을 보내시면서, 가을의 문턱에서 이번 뉴스레터가 여러분에게 유익한 인사이트와 즐거움이 되었으면 합니다!🙇‍♀️

혹시 MLOps Insight를 포워딩 받으셨다면 👉 여기 👈에서 구독하실 수 있습니다! 

*MLOps Insight는 PC버전에 최적화되어 있습니다.

——————————————————————

➡️ MLOps Insight 설문 조사

여러분의 소중한 의견을 듣고 싶어요! 
더 좋은 컨텐츠의 뉴스레터가 될 수 있도록 도와주세요!🙏

Spotlight🌟

GPT-4o와 멀티모달 기술의 혁신

본 글은 "GPT-4o와 멀티모달 기술의 변천사"을 편집한 것으로 자세한 내용은 원글을 참고해 주세요.

최근 OpenAI의 신규 출시된 GPT-4o는 음성, 이미지, 텍스트 등 모든 형태의 데이터를 처리할 수 있는 멀티모달 모델(Multimodal Model)로 큰 화제를 모았는데요. 'Omni', 즉 '모든 것'을 의미하는 이름을 가진 GPT-4o는 기존의 초거대언어모델(LLM) 기능을 넘어선 매우 자연스러운 인터랙션을 제공합니다. 또한, 이 모델은 질문에 0.23초 만에 응답하며, 감정을 느끼는 듯한 목소리 톤 변화로 농담을 던지기도하고 사람처럼 자연스럽고 유연한 대화가 가능하죠. 

멀티모달 모델이란?

멀티모달 모델(Multimodal Model)에 대해서 다시 짚고 넘어가 볼까요? 멀티모달 모델은 텍스트, 이미지, 음성, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 모델을 가리키는데요. 멀티모달 모델은 다양한 데이터 유형을 하나의 통합 시스템으로 처리하여, 보다 풍부한 정보와 직관적인 상호작용을 가능하게 합니다. Early Fusion, Late Fusion, Joint Fusion 등의 기법을 통해 개발되며, 이는 모델이 다양한 데이터 사이의 복잡한 관계를 이해하고 새로운 데이터를 생성하는데 도움을 줍니다.

(출처 : Multimodal Deep Learning)

멀티모달 기술의 변천사

• 다양한 형태의 데이터 통합

  • 2000년대 초반, 컴퓨터 비전(CV)과 자연어 처리(NLP) 기술의 결합은 이미지와 텍스트를 결합하여 이미지 캡셔닝과 같은 작업을 가능하게 했습니다. 이러한 기술은 단순히 이미지에 대한 설명을 생성하는 것에서 더 나아가, 이미지와 텍스트 데이터를 결합한 객체 인식과 같은 더 정교한 기술로 발전했죠.

• 딥러닝 모델의 발전

  • 2010년대 초반, 딥러닝 기술의 발전은 이미지와 텍스트 데이터를 통합하는 연구를 크게 발전시켰습니다. 컨볼루션 신경망(CNN)과 순환 신경망(RNN) 같은 모델은 멀티모달 연구에 큰 도약을 제공하였고, 이 기술들은 이미지 캡셔닝과 비주얼 질문 응답(VQA) 분야에서 특히 중요하게 활용되었습니다.

• 초거대언어모델(LLM)과 멀티모달의 결합

  • 2020년대의 시작과 함께, 초거대언어모델(LLM)의 등장은 멀티모달 모델의 가능성을 크게 확장하였습니다. GPT-3와 같은 모델들은 텍스트 중심의 기능에서 벗어나 이미지 생성과 같은 다양한 멀티모달 작업을 수행할 수 있게 되었습니다. 특히 DALL-E와 같은 모델은 텍스트 기반 입력으로부터 상세하고 창의적인 이미지를 생성하여 멀티모달 기술의 새로운 가능성을 열었습니다.

현재 생성형 AI 서비스는 대부분 멀티모달 기능을 기본으로 탑재하고 있는데요. 이처럼 멀티모달 기술의 발전은 AI가 단순한 데이터 처리를 넘어 인간처럼 복잡한 상황을 이해하고 대응할 수 있게 만드는 길을 열고 있습니다. 멀티모달 모델의 지속적인 발전은 AI 기술의 활용 범위를 넓히고, 그 가능성을 극대화할 중요한 기술이 될 것입니다.

앞서 설명해 드린 부분 이외에도 더 자세한 내용은 슈퍼브에이아이의 블로그에서 확인하실 수 있습니다. 본문에서 꼭 확인해 보세요!

Learning & Other Insights🌟

Magic AI의 LTM-2-mini

Magic AI는 약 1,000만 줄의 코드에 해당하는 1억 토큰 컨텍스트 윈도우를 갖춘 새로운 언어 모델 인 LTM-2-mini를 출시했습니다. 이는 최대 1,000만 개의 토큰을 처리했던 Google의 Gemini와 같은 이전 모델의 한계를 뛰어넘었다고 볼 수 있는데요. LTM-2-mini의 광범위한 컨텍스트 기능은 모델이 전체 프로젝트의 코드, 문서 및 라이브러리를 보다 효과적으로 처리할 수 있도록 했다고 합니다. 더 자세한 내용을 함께 알아보시죠!

ChatGPT, 가격인상?

OpenAI는 곧 출시될 ChatGPT 모델에 대한 가파른 가격 인상을 고려하고 있으며, 잠재적인 수수료가 월 2,000달러로 치솟을 것이라는 소문이 돌고 있다고 합니다😱 이 과감한 결정은 ChatGPT 운영에 드는 막대한 비용, 특히 무료 사용자가 많고 Strawberry 및 Orion과 같은 고급 모델이 개발됨에 따라 발생할 수 있다고 하는데요. 한편, ChatGPT Enterprise는 100만 명의 유료 사용자를 돌파하여 기업 및 교육 부문에서 채택이 증가하고 있으며, 미국을 넘어 독일, 일본, 영국과 같은 국가에서도 상당한 입지를 굳히고 있다고 합니다. 링크를 통해 알아보세요!

Amazon의 새로운 음성 비서 - Remarkable Alexa

Amazon은 음성 비서인 Alexa를 업그레이드할 계획이라고 합니다! 새로운 "Remarkable Alexa"는 Anthropic의 Claude AI에 기대어 자체 모델의 한계를 해결한다고 합니다. 10월 중순에 출시될 예정인 이 업데이트는 Alexa의 언어와 기능을 향상하도록 설계되었다고 하는데요.

이 업그레이드된 버전의 월 구독료는 5~10달러 사이로 예상되는 반면, "Classic" 버전은 무료로 유지된다고 하네요!

Anthropic, Quickstarts repo를 출시

Anthropic은 Quickstarts repo를 출시했습니다. 개발자가 Anthropic API를 사용하여 빠르게 시작하고 배포할 수 있는 애플리케이션을 빌드하는 데 도움이 되는 프로젝트의 모음이 있다고 하는데요. 또한, Anthropic은 Claude를 위한 엔터프라이즈 플랜을 발표했습니다. 여기에는 업그레이드된 500k 토큰 컨텍스트 창, Github 통합 및 더 많은 보안 기능이 제공된다고 합니다!

MiniMax의 Video-01모델 공개 

중국 AI 스타트업 MiniMax가 텍스트 프롬프트에서 고해상도 비디오를 생성할 수 있는 최초의 AI 모델인 Video-01을 공개했습니다. Video-01은 1,280 x 720픽셀, 초당 25 프레임의 클립을 생성하지만, 6초로 제한되어 있으며 곧 10초로 확장될 예정이라고 하는데요. MiniMax 웹사이트에서 모바일 등록으로 무료로 이용할 수 있으며, 개발자는 API를 활용할 수 있다고 합니다. 지금 바로 확인해 보세요!

✨슈퍼브에이아이 블로그 외부 필진 모집

현재 슈퍼브에이아이에서는 AI, 머신러닝, SaaS, 데이터 과학 등 관련 분야에 대해 형식에 상관없이 작성해 주실 외부 필진 분들을 모집하고 있습니다. 외부 필진 분들에게는 소정의 원고료를 지급하고 있습니다. 관심이 있으면 아래 폼을 통해 신청서를 제출해 주세요. 추후 블로그 운영진이 확인 후 연락드리도록 하겠습니다. 

 📌슈퍼브에이아이 블로그 : https://blog-ko.superb-ai.com/

 ➡️신청 폼 바로가기 : https://forms.gle/ZXXo3PTxtH2HQS5h7

Author: Hyeonji Jeong

Product Advocate at Superb AI 

Let's connect 🤗