안녕하세요!
D.U.T입니다!
클릭 및 방문해 주셔서 감사합니다!
오랜만에 인공지능(AI) 포스팅을 합니다.
인공지능(AI) 관련 뉴스를 보다가 흥미로운 내용을 이제 알게 되어 공부를 조금 해봤습니다.
포스팅 제목처럼 하이브리드 AI를 이제 알게 되어 하이브리드 AI가 무엇인지?
찾아봤습니다.
제가 공부한 내용을 이해하고 정리한 글입니다. 틀린 부분이 있을 수 있고, 잘못된 정보가 있을 수 있으므로 이점 참고해 주시고 읽어주시기 바랍니다.
● 하이브리드 AI
앞에서도 말씀드렸지만, 최근 인공지능(AI) 관련 정보를 찾아보다가 새롭게 알게 된 사실이 있습니다.
바로 2023년 5월, 퀄컴에서 연구보고서를 발표했습니다.
발표 시점이 작년이니... 저는 너무 늦게 알게 됐습니다. ㅠㅠ
연구보고서 제목은 "The future of AI is hybrid" 입니다.
AI의 미래는 하이브리드?!
제목부터 흥미롭네요. 내연기관 자동차 장점과 전기차의 장점을 가지고 있는 하이브리드 자동차처럼...
AI에서도 하이브리드 AI는 각각의 장점들을 합친 것일까요?
하이브리드 AI에 대해 알아봤습니다.
보고서의 핵심 내용만 미리 말씀드리겠습니다.
1. 인공지능 처리(생성형 AI, 추론 AI 등)는 클라우드와 엣지 디바이스(온 디바이스) 사이에 분산 필요
2. 하이브리드 AI 아키텍처는 인공지능(AI)을 클라우드에서만 처리하는 것이 아니라 클라우드와 엣지 디바이스 사이에서 인공지능 작업량(Workload)을 분산하고 조정 가능
Q. 하이브리드 AI가 필요한 이유는?!
A. 비용 절감 목적이 가장 큼.
- 예를 들어 GPT와 같은 생성형 AI 모델은 훈련하고 운영하기 위해 상당한 컴퓨터 리소스가 필요
- 모델을 훈련하려면 GPU 또는 TPU(Tensor Processing Unit)와 같은 하드웨어를 사용해야 하고 조달 및 유지 관리 비용이 많이 듦
- 생성형 AI 모델은 일반적으로 방대한 데이터 세트에서 훈련하므로, 상당한 저장 용량을 필요하고 데이터 세트와 훈련된 모델 매개 변수를 저장하려면 지속적인 저장 비용이 발생
- 대규모 AI 모델을 실행하려면 엄청난 양의 에너지가 필요
- 에너지 소비는 특히 데이터 센터를 운영하거나 클라우드 컴퓨팅 서비스를 사용하는 조직의 운영 비용에 많은 부분을 차지하며, 에너지 비용은 전체 비용의 상당 부분이 됨
★ 결론
하이브리드 AI 아키텍처는 비용 절감, 에너지 절약, 성능 향상, 개인 정보 보호, 보안 및 개인화와 관련된 장점을 제공
조금 더 자세한 내용은 아래에서 말씀드리겠습니다.
● 하이브리드 AI는 무엇인가?
현재의 AI 모델은 매개 변수를 학습하는 AI 훈련과 모델을 실행하는 AI 추론은 클라우드 AI 환경에 국한되어 왔습니다.
개별 모델을 훈련하는 데는 상당한 리소스와 비용이 필요하지만 대규모 생성형 AI 모델은 1년에 몇 번만 훈련하면 될 것으로 예상합니다.
다만, 해당 모델을 사용한 AI 추론 비용은 일일 사용자 수와 사용 빈도에 따라 엄청 증가합니다. 클라우드 환경에서 AI 추론을 실행하면 많은 비용이 들 수 있습니다.
이러한 문제를 해결할 수 있는 해결책이 바로 하이브리드 AI입니다.
하이브리드 AI는 온 디바이스 AI와 클라우드 AI가 함께 작동합니다.
필요한 인공지능 계산을 적절한 장소와 시기에 나누어 효율적인 자원 사용을 제공할 수 있습니다.
인공지능이 필요한 경우, 계산은 주로 온 디바이스 AI를 중심으로 이루어지며, 필요할 때 작업을 클라우드 AI로 오프로드합니다.
즉, 효율적으로 빠르게 인공지능 계산을 할 수 있습니다.
● 하이브리드 AI의 장점
1. 비용(Cost) 절감 가능
생성형 AI 모델 사용량과 복잡성이 계속 증가하는 상황에서 클라우드에서만 AI 추론을 실행하는 것은 데이터 센터 인프라 비용 증가로 인해 경제적이지 않습니다.
일부 인공지능 처리를 클라우드에서 엣지 디바이스로 전환하면 클라우드 인프라의 부담을 줄이고 비용을 줄일 수 있습니다.
즉, 인공지능 처리 능력이 향상된 하이브리드 AI는 비용 절감이 가능합니다.
2. 에너지(Energy) 절감 가능
유명한 NVIDIA H100으로 데이터 센터를 운영하면 엄청난 전력 소비가 발생한다는 사실은 많이 알려져 있습니다. 클라우드 환경에서 AI를 활용하려면 많은 에너지 소비가 필요합니다.
효율적인 AI 처리를 갖춘 엣지 디바이스(온 디바이스 AI)는 특히 클라우드 AI와 비교할 때 와트당 최고의 성능을 제공합니다. 엣지 디바이스는 처리뿐만 아니라 데이터 전송도 고려할 때 에너지의 일부로 생성형 AI 모델을 실행할 수 있습니다.
즉, 전력 대비 성능 비율이 향상된 하이브리드 AI는 데이터 센터의 에너지 절감이 가능합니다.
3. 신뢰성(Reliability), 성능, 지연 속도(latency) 향상
클라우드 서버와 네트워크 연결이 혼잡하거나 연결이 안 될 경우에는 하이브리드 AI는 더 좋은 신뢰할 수 있는 성능을 제공할 수 있습니다.
그 이유는 하이브리드 AI 아키텍처에서 온 디바이스 AI 프로세싱이 작동하기 때문입니다.
생성형 AI에 대한 클라우드 수요가 많은 경우에는 큰 대기열(Large queue)과 큰 지연 속도(High latency)가 발생할 수 있으며, 경우에 따라 서비스 거부로 이어질 수도 있습니다. 이러한 문제를 엣지 디바이스로 이동시킴으로써 방지할 수 있습니다.
그러므로, 하이브리드 AI를 사용하면 신뢰성 향상과 낮은 지연 속도(Low latency)로 더 좋은 성능을 제공할 수 있습니다.
4. 개인 정보 보호, 보안 및 개인화
클라우드에 노출시키지 않고, 하이브리드 AI에 포함된 온 디바이스 AI를 활용하면 개인 정보가 기기에만 남아 있으므로, 개인 정보를 보호하는데 도움이 됩니다.
하이브리드 AI는 개인화된 경험을 가능하게 할 수 있습니다.
디지털 어시스턴트는 프라이버시를 침해하지 않으면서 사용자의 표현, 특징, 고유성에 맞게 맞춤화되므로, 디바이스에 유지되고 온디바이스 AI 학습을 통해 개인화된 경험은 지속적으로 최적화되고 업데이트됩니다.
이러한 장점을 부각하기 위해서는 아무래도 AI 연산 위치를 잘 설계하는 것이 중요할 것으로 보입니다.
여기까지 하이브리드 AI에 대한 장점을 말씀드렸습니다.
● 엣지 컴퓨팅과 하이브리드 AI 개념
다음은 이 하이브리드 AI 개념을 어떻게 생각했을까?라는 의문을 가지고 관련 정보를 찾아봤습니다.
하이브리드 AI 개념은 기존에 있는 엣지 컴퓨팅 개념을 참고한 것 같습니다.
잠시 엣지 컴퓨팅을 말씀드리겠습니다.
Q. 엣지 컴퓨팅(Edge Computing)이란?
A. 디바이스 및 최종 사용자가 물리적으로 떨어진 클라우드 서버에서 데이터를 관리하는 것이 아니라 더 가까운 위치에서 워크로드를 실행하여 엣지에서 개발 데이터를 분석하고 활용하는 기술입니다.
엣지 컴퓨팅 장점입니다.
1. 지연 시간 감소/속도 개선
2. 데이터 보안 강화
3. 생산성 향상
4. 원격 데이터 수집
5. 비용 절감
6. 안정적인 성능
앞에서 말씀드린 하이브리드 AI의 장점과 비슷한 부분이 많은 것을 알 수 있습니다.
하이브리드 AI 개념만 보면 엣지 컴퓨팅 개념이랑 비슷합니다.
아니 거의 동일하다고 볼 수 있지 않을까요?
하이브리드 AI는 엣지 컴퓨팅 개념을 벤치마킹한 것 같습니다.
끝으로...
퀄컴에서 연구보고서 "The future of AI is hybrid" 라는 보고서를 왜 발표했을까?
미루어 생각해 보면 온 디바이스 AI 홍보 및 온 디바이스 AI 시장을 선도하겠다는 의지를 보인 것 같습니다.
보고서 내용을 보시면 아시겠지만, 하이브리드 AI 개념을 소개하는 동시에 온 디바이스 AI의 중요성을 강조하고 있습니다.
온 디바이스 AI 중 하나인 스냅드래곤은 클라우드 AI와 결합한 하이브리드 AI 구조입니다.
현재의 스냅드래곤 8 gen 3는 100억개 매개변수(10 billion+ Parameters)와 초당 20 토큰(20+ tokens/sec)을 처리할 수 있다고 홍보하고 있습니다.
10억 개 이상의 파라미터를 가진 Stable Diffusion과 같은 모델은 이미 클라우드와 비슷한 성능과 정확도 수준으로 스마트폰에서 실행되고 있다고 합니다.
100억 개 이상의 파라미터를 가진 다른 많은 생성형 AI 모델이 가까운 미래에 스마트 폰(온 디바이스 AI)에서 실행된다면 정말로 클라우드를 활용하지 않고, 스마트폰 자체에서 인공지능(AI)을 잘 활용할 수 있을 것 같습니다.
많은 분들에게 도움이 되길 바라며 부족한 글 읽어주셔서 감사합니다.
'AI (인공지능)' 카테고리의 다른 글
| HBM3 메모리는 어디에 사용될까? (ft. 엔비디아, AMD) (0) | 2023.08.19 |
|---|---|
| 엔비디아 A100 GPU에 HBM2e(메모리) 비중은 몇 %? (0) | 2023.07.30 |
| AI 시대, 데이터는 왜 중요할까? 인공지능의 밥: 데이터! (0) | 2023.07.23 |
| 풀 스택(Full-stack) AI와 수직(Vertical) AI란? (ft.테슬라) (0) | 2023.04.23 |
| AI 반도체(AI 하드웨어 가속기=NPU), 개념+기초 정리! (0) | 2023.04.16 |
