Thanks to visit codestin.com Credit goes to teddygood.github.io
소프트웨어 엔지니어입니다.
코드를 넘어 제품의 성공까지 설계하는 개발자의 사고법
PagedAttention과 vLLM이 LLM serving에서 KV cache 메모리 문제를 어떻게 푸는지 정리한 논문 리뷰
레거시 코드는 살리고 성능은 높이는 단계별 리팩터링 전략