전체 글 | Bazzi's Devlog

BizKit AI 모델 선택과 벤치마크

명함 배경 생성·자기소개·임베딩 검색에 사용할 모델을 비교한 조건과 결과, 모델 선택과 구현 설정의 차이를 정리한다.

Spring, FastAPI, Redis Streams, RunPod, 임베딩 서비스의 책임을 나눈 설계와 비동기 작업 구조, 기능별 처리 경로를 정리한다.

FastAPI의 작업 접수와 Redis Streams·Worker의 실행을 분리한 이유, 상태 조회 계약과 초기 설계의 한계를 정리한 기록이다.

LLM 점수 보정의 근거 부족을 인정한 과정과 두 계층의 재시도가 GPU 비용 사고로 이어진 경험을 중심으로 AI 서버 개발을 돌아본다.

긴 AI 작업을 비동기로 처리하고 모델의 역할을 제한한 BizKit AI 서버의 구현, 담당 범위와 설계 변경을 정리한 기록이다.