Webcast 나만의 LLM 운영하기

나만의 LLM 운영하기

 · Asia/Seoul

About This Webcast

이 세션에서는 규모 있는 LLM 서비스를 운영하는 조직을 대상으로 자체 관리 중인 하드웨어 - 클라우드 또는 온프레미스에서 LLM 최적화 및 배포 과정을 통해 가시적인 효율성, 데이터 거버넌스, 비용 개선 효과를 얻을 수 있다는 점을 보여드립니다. 이 세션에서는 일반적으로 사용 가능한 하드웨어에서 실행할 수 있는 상용 라이센스가 있는 개방형 LLM에 대해 논의하고, 옵티마이저를 사용하여 지연 시간을 단축하고 처리량을 높여 컴퓨팅 요구 사항을 줄이는 방법을 보여드립니다. 참석자들은 비즈니스 요구사항에 맞게 자체 관리형 LLM을 확장할 수 있는 능력을 갖추게 됩니다. 더불어, 사용자가 LLM을 정의하고 멀티 노드 GPU에서 추론 최적화 TensorRT 엔진을 빌드할 수 있는 TensorRT-LLM의 최신 기술 업데이트를 함께 살펴봅니다. 세션 관련 사전 질문은 다음 링크를 통해 제출을 부탁드립니다. - https://forms.gle/mcNP5TKRVMTPh6pV7 (C) NVIDIA Corporation 2023. All rights reserved. No recording of this webinar should be made or reposted without the express written consent of NVIDIA Corporation.

Speakers

소우진

소우진

솔루션 아키텍트 , NVIDIA

소우진 솔루션 아키텍트는 딥 러닝 데이터 사이언티스트로, 다양한 AI 워크로드에 대한 빅데이터 자연어 처리 및 GPU 가속을 중점적으로 연구하고 있습니다. 이전에는 삼성전자에서 프라이빗 클라우드 서비스 개발을 주도하고 AI 플랫폼을 구현했습니다. 한국 카이스트에서 산업공학 박사 학위를 받았습니다.