[Serving patterns] Asynchronous pattern
- 서빙 패턴은 실제 운영 환경에서 머신러닝 모델을 이용할 수 있도록 만드는 시스템 디자인
Reference
ml-system-design-pattern
System design patterns for machine learning
mercari.github.io
디자인 패턴
프로그램 개발에서 자주 나타나는 과제를 해결하기 위한 방법 중 하나로, 과거의 소프트웨어 개발 과정에서 발견된 설계의 노하우를 축적하여 이름을 붙여, 이후에 재이용하기 좋은 형태로 특정의 규약을 묶어서 정리한 것
Asynchronous pattern
- 프로세스와 예측 사이에 의존성이 없는 경우 사용
- 클라이언트와 목 저지가 분리된 경우 사용
- 클라잉 언트와 예측 서버 사이에 대기열이나 캐시를 배치해 예측 요청과 예측 검색을 분리
특징
- 클라이언트와 예측 분리
- 예측 대기 시간을 기다릴 필요가 없음
- 실시간에는 적절하지 않음
'MLOps > ML Design Pattern' 카테고리의 다른 글
| [Serving patterns]Synchronous pattern (0) | 2022.01.22 |
|---|---|
| [Serving patterns]Web single pattern (0) | 2022.01.13 |
