hanumoka
Java와 Spring으로 오래 일한 백엔드 개발자입니다.
모르는 것을 글로 남깁니다.
- Kotlin
- Spring
- 이벤트 기반
- 배포와 운영
최근 초안
실패해도 이어지는 작업, Temporal로 이해하기초안
정상 실행과 액티비티 재시도를 직접 재생하고, 백오프 간격을 바꾸며 Temporal의 서비스·워커·히스토리 역할을 살펴봅니다.
Langfuse가 무엇인지 — LLM 호출을 남기고 다시 보는 도구초안
랭퓨즈는 오픈소스 LLM 엔지니어링 플랫폼이다. 한 요청의 프롬프트, 응답, 토큰, 지연, 도구 호출을 추적해 화면에서 본다.
NVIDIA Triton Inference Server가 무엇인지 — 학습한 모델을 HTTP로 띄우는 서버초안
트리톤은 NVIDIA가 만든 추론 서버다. 학습이 끝난 모델을 폴더에 두고, HTTP나 gRPC로 입력을 받아 출력을 돌려준다.
GPU 추론 서버와 LLM HTTP 서비스를 나눠 SaaS에 올리는 운영초안
Triton으로 정량 모델을 서빙하고, 문장 생성은 별도 HTTP와 Langfuse로 둔다. SaaS에서는 GPU를 원장에 올리고, 오토스케일보다 VRAM과 동시 상한을 먼저 본다.
Temporal이 무엇인지 — 긴 작업을 코드로 오케스트레이션하는 엔진초안
Temporal은 워크플로를 코드로 쓰고, 한 단계가 끝나기 전에 프로세스가 죽어도 그 다음부터 이어 가게 한다. 큐와 크론과 @Async와 무엇이 다른지부터 정리한다.