생성 AI 활용

2024-07-17 오전

😿 Gen AI at the Edge

한 줄 요약: 생성형 AI 를 Edge 에서 사용하기위해서는 모델 서버를 분리하고, Device 에서 추론 해봅시다.

🐒 The Edge (Cross)

• 자원의 한계:생성형 AI 연산은 고성능 H/W의 대용량의 전력소비가 수반됨
• 따라서 대부분의 AI서비스는 중앙의 클라우드 서버, 종말단의 엣지 디바이스 형태로 구성
• 분산처리, 최적화 등 필요성 :클라우드 서버와 엣지 디바이스 간의 응답 시간의 감축을 위한 노력들 필요

🦧 딥러닝

1. 학습되지 않은 기본 베이스 신경망을 로드
2. 학습 시킴
3. 학습이 완료된 모델를 파일로 저장
4. Input data 를 이 모델에 넣어서 결과를 추론

인공지능 모델을 학습하는 과정은 마치 아기들이 자전거를 넘어지면서 배우는 과정과 비슷

모델 학습, 관리는 클라우드 // 추론은 디바이스로