1.3 Model Serving

• Product Serving 에 대해 자세히 알아보기

1. Model Serving

1.1. Serving Basic

"Production(Real World) 환경에 모델을 사용할 수 있도록 배포"

• 머신러닝 모델을 개발하고, 현실 세계(앱, 웹)에서 사용할 수 있게 만드는 행위

• 서비스화라고 표현할 수도 있음

• 머신러닝 모델을 회사 서비스의 기능 중 하나로 활용

  • ex) 추천 시스템의 추천 알고리즘

• Input이 제공되면 모델이 예측 값(Output)을 반환

Serving : 모델을 웹/앱 서비스에 배포하는 과정, 모델을 활용하는 방식, 모델을 서비스화하는 관점 Inference : 모델에 데이터가 제공되어 예측하는 경우, 사용하는 관점

웹 서버(Wikipedia)

• HTTP를 통해 웹 브라우저에서 요청하는 HTML 문서나 오브젝트를 전송해주는 서비스 프로그램

• 요청(Request)을 받으면 요청한 내용을 보내주는(Response) 프로그램

머신러닝 모델 서버

• 어떤 데이터(Input)를 제공하며 예측해달라고 요청(Request)하면, 모델을 사용해 예측 값을 반환(Response)하는 서버

API(Application Programming Interface)

"운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스"

• 특정 서비스에서 해당 기능을 사용할 수 있도록 외부에 노출 : 기상청 API, 지도 API

• 라이브러리의 함수 : Pandas, Tensorflow, PyTorch

2. Online Serving

• 요청(Request)이 올 때마다 실시간으로 예측

• 클라이언트(애플리케이션)에서 ML 모델 서버에 HTTP 요청(Request)하고, 머신러닝 모델 서버에서 예측한 후, 예측 값(응답)을 반환(Response)

진행하고 있는 프로젝트로 생각하면, 욕설감지의 경우 실시간으로 이루어지는 Online Serving으로 볼 수 있다.

사용자가 문구를 입력 -> 서버로 Text 전달 -> 욕설여부 판단 -> 사용자에게 전달

• ML 모델 서버에 요청할 때, 필요시 ML 모델 서버에서 데이터 전처리를 해야할 수 있음 (혹은 분리를 위해 전처리 서버 / ML 모델 서버로 나눌 수도 있음)

  • 전처리에 사용되는 비용이 클 경우

• 서비스의 서버에 ML 서버를 포함하는 경우도 있고, ML 서버를 별도로 운영하는 경우도 존재

• Online Serving을 구현하는 방식

  • 직접 API 웹 서버 개발 : Flask, FastAPI 등을 사용해 서버 구축

  • 클라우드 서비스 활용 : AWS의 SageMaker, GCP의 Vertex AI 등

  • Serving 라이브러리 활용 : Tensorflow Serving, Torch Serve, MLFlow, BentoML 등

• Online Serving에서 고려할 부분

  • 재현가능성, 디펜던시 관리 (poetry, Docker)

  • 실시간 예측처리를 고려한 속도

    • Data Load

    • 모델 연산

    • 후처리

3. Batch Serving

• 주기적인 Term을 가지고 이루어지는 과정(스케줄러)

• Airflow, Cron Job 등으로 스케쥴링 작업(Workflow Scheduler)

라이브커머스 하루의 방송이 종료되고, 그날 발생한 데이터에 대한 분석 및 리포팅을 하는 경우 그날의 작업이 완료되고, 새벽에 배치가 이루어지면 된다.

단, 실시간이 아니므로 적용되기까지 시간이 소요된다.

4. Further Reading

Rules of Machine Learning:  |  Google for DevelopersGoogle for Developers

다른 것보다 실제로 회사생활을 해본 경험으로 어떤 이슈들과 어떤 점을 중점적으로 생각하여야하는지가 잘 와닿았다. API서버도 구축해본 경험이 있고, 실시간 / Batch 데이터 전송도 경험해본바가 있어 생소한 툴에 대한 활용법 위주로 생각해보면 좋을 것 같다.