BentoML-Extension (bentomlx)

---

BentoML-Extensions A.K.A (bentomlx) provide Two additional Components,

• Intel Optimized interService(or Runner)

• FeatureStore.

pip install bentoml bentomlx

Featured use cases

Feature Store

pip install "bentomlx[FEATURESTORE]"

ex: pip install "bentomlx[redis]"

• redis

• aerospike

• elasticsearch

intel-optimized-inter-service

pip install torch --index-url https://download.pytorch.org/whl/cpu

pip install "intel-extension-for-pytorch bentomlx"

• ipex(intel-extension-for-pytorch)

• custom c binding model which build with oneDNN

BentoML-Extensions’s Goal

todo: KR -> ENG

최근 LLM의 발전이 가속화됨에 따라 모델 서빙프레임워크에서도 대규모 연산량을 위해 Nvidia GPU 기반 기능들을 지원하고 개선해나가고있다. BentoML 또한 최근 트랜드에 맞게 nvidia GPU resource호환,vLLM과 같은 고성능 inference 프레임워크 연동과 같이 GPU 모델서빙 관련 기능적인 개선에 힘을 쓰고있다. 최근 주목받고있는 모델들, 즉 Diffusion 또는 LLM계열 모델들의 연산량을 감당하기 위해서는 GPU 특히 cuda에 관한 지원은 우선순위가 높아야만한다.

이로 인해 대부분의 inference engine or serving 오픈소스들은 CPU 관련 기능들에 대한 지원이 빈약할 수 밖에 없다. 그러나 CPU inference 연산량 최적화에 대한 지원이 부족하다는 의미는 최우선순위가 아닐뿐이지 최하위우선순위라는 의미는 아니다. is not high priority, it does not mean lowest priority. BentoML은 매우 뛰어난 모델서빙 프레임워크다. 기존 ML프레임워크들을 통합하면서 이를 쉽게 빌드 배포할수 있도록 기능들을 제공한다. BentoML 또한

The BentoML documentation provides detailed guidance on the project with hands-on tutorials and examples. If you are a first-time user of BentoML, we recommend that you read the following documents in order: