BAZZI BLOG · ARCHITECTURE

요청 형식에 따라 나누는 vLLM 엔진

요청 형식에 따라 나누는 vLLM 엔진 RunPod handler가 JobInput을 파싱하고 OpenAI route 여부에 따라 vLLMEngine 또는 OpenAIvLLMEngine을 선택한 뒤 AsyncLLM으로 생성하고 streaming 또는 non-streaming 응답을 반환한다. RUNPOD / ENGINE ROUTING 요청 형식에 따라 나누는 vLLM 엔진 GENERAL OPENAI INPUT RunPod handler RunPod Serverless ROUTER 입력 파싱 OpenAI route 판별 JobInput ENGINE vLLMEngine vLLM OPENAI OpenAIvLLMEngine OpenAIServingChat OpenAIServingCompletion V1 AsyncLLM generate RESPONSE 응답 반환 streaming / non-streaming 생성 요청의 개념 경로 · 입력 형식별 엔진 책임과 두 응답 모드를 구분한다. 중점 구성요소 관계·흐름 생성 결과 반환

독립 파일에서는 NanumSquare가 없을 때 시스템 글꼴로 대체된다.