다음 예에서는 Llama 3를 사용하여 대규모 언어 모델(LLM)을 배포하고 제공하기 위한 툴킷인 Hugging Face 텍스트 생성 추론(TGI) 툴킷을 실행하는 백엔드 서비스를 실행하는 방법을 보여줍니다.
Cloud Run에 TGI DLC가 포함된 Llama 3.1 8B 배포에서 전체 예시를 확인하세요.
Hugging Face TGI를 사용하여 Cloud Run GPU에서 LLM 추론 실행
달리 명시되지 않는 한 이 페이지의 콘텐츠에는 Creative Commons Attribution 4.0 라이선스에 따라 라이선스가 부여되며, 코드 샘플에는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 Google Developers 사이트 정책을 참조하세요. 자바는 Oracle 및/또는 Oracle 계열사의 등록 상표입니다.
최종 업데이트: 2025-08-05(UTC)