나만의 LLM 운영하기
About This Webcast
이 세션에서는 규모 있는 LLM 서비스를 운영하는 조직을 대상으로 자체 관리 중인 하드웨어 - 클라우드 또는 온프레미스에서 LLM 최적화 및 배포 과정을 통해 가시적인 효율성, 데이터 거버넌스, 비용 개선 효과를 얻을 수 있다는 점을 보여드립니다. 이 세션에서는 일반적으로 사용 가능한 하드웨어에서 실행할 수 있는 상용 라이센스가 있는 개방형 LLM에 대해 논의하고, 옵티마이저를 사용하여 지연 시간을 단축하고 처리량을 높여 컴퓨팅 요구 사항을 줄이는 방법을 보여드립니다. 참석자들은 비즈니스 요구사항에 맞게 자체 관리형 LLM을 확장할 수 있는 능력을 갖추게 됩니다. 더불어, 사용자가 LLM을 정의하고 멀티 노드 GPU에서 추론 최적화 TensorRT 엔진을 빌드할 수 있는 TensorRT-LLM의 최신 기술 업데이트를 함께 살펴봅니다. 세션 관련 사전 질문은 다음 링크를 통해 제출을 부탁드립니다. - https://forms.gle/mcNP5TKRVMTPh6pV7 (C) NVIDIA Corporation 2023. All rights reserved. No recording of this webinar should be made or reposted without the express written consent of NVIDIA Corporation.
Speakers
소우진
솔루션 아키텍트 , NVIDIA
소우진 솔루션 아키텍트는 딥 러닝 데이터 사이언티스트로, 다양한 AI 워크로드에 대한 빅데이터 자연어 처리 및 GPU 가속을 중점적으로 연구하고 있습니다. 이전에는 삼성전자에서 프라이빗 클라우드 서비스 개발을 주도하고 AI 플랫폼을 구현했습니다. 한국 카이스트에서 산업공학 박사 학위를 받았습니다.