엔비디아1 AI 발전의 새로운 도전: 스케일링 한계와 엔비디아의 대응 스케일링 한계의 본질과 현재 상황최근 AI 업계에서 '스케일링 한계' 문제가 뜨거운 화제로 떠올랐습니다. 지금까지 AI는 더 많은 GPU(그래픽 처리 장치)와 데이터를 투입하면 성능이 좋아진다고 여겨졌습니다. 이러한 방식으로 지난 10년간 AI는 발전해왔지만, 이제는 이런 접근법이 한계에 부딪힐 수 있다는 우려가 커지고 있습니다. 특히 사티아 나델라 마이크로소프트 CEO와 요수아 벤지오 몬트리올대학교 교수는 '추론'이 새로운 돌파구가 될 것이라고 강조하고 있습니다. 현재 AI 모델 개발에서는 사전 훈련(pre-training) 과정에서 엄청난 양의 GPU를 사용합니다. 예를 들어, 현존하는 가장 큰 슈퍼컴퓨팅 클러스터인 콜로서스는 10만 개의 GPU를 사용하고 있습니다. 하지만 이러한 방식이 계속해서 효.. 2024. 11. 23. 이전 1 다음
