[끄적끄적] Nvidia 신규기능들

2022 aws 리인벤트에서 알게된걸로 

 

- H100 gpu가 신규gpu로 곧 출시한다고한다 ( https://www.nvidia.com/ko-kr/data-center/h100/ )

- 또 Tao toolkit이라는게 있다는걸 새롭게 알게되었다. (https://developer.nvidia.com/ko-kr/tao-toolkit ) 

- 또 nemo megatron 이라는것도 새로 출시한다는데 NLP 모델같이 좀많이 큰 모델전용인듯하다.

 

- TAO Toolkit은 학습과 관련된 hyperparameter들을 수정하여 custom AI model을 생성할 수 있고 또한 CV 모델에서 model pruning을 통해 모델의 전체 크기를 줄일 수도 있다. 

 

 

TAO Toolkit 이란 ?

TensorFlow 및 PyTorch를 기반으로 구축된 NVIDIA TAO Toolkit은 AI/딥 러닝 프레임워크 복잡성을 추상화하여 모델 트레이닝 프로세스를 가속화하는 NVIDIA TAO 프레임워크의 로 코드 버전입니다.TAO Toolkit을 사용하면 AI 전문 지식이나 대규모 트레이닝 데이터 세트 없이도 전이 학습을 활용하여 NVIDIA 사전 학습 모델을 자체 데이터로 미세 조정하고 추론을 최적화할 수 있습니다.

또한 자신의 데이터로 pretrained model을 fine-turning하고 edge device를 통해 TensorRT 기반 inference를 위해 export 할 수 있는 Python package

 

Transfer learning 전이학습이란?

cnn으로 학습을 시키기위해서는 엄청나게 많은 양의 데이터가 필요함. 그런데 이걸 처음부터 학습시키기에는 돈과 시간이 부족함. 그걸 해결하기위해 사용한게 전이학습. 이미 많은 데이터를 가지고 pre-trained 모델을 가지고와서 조금 튜닝해서 사용하는것. 적은 데이터를 가지고 추가트레이닝을 시키고 가중치를 미세하게 조정시키거나 마지막 출력게층을 손봐서 조금만 수정하고 이 변경된 레이어만 다시 재트레이닝시키는걸 말함.

 

TensorRT란?

학습된 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 수배 ~ 수십배 까지 향상시켜 딥러닝 서비스를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진. 흔히들 우리가 접하는 Caffe, Pytorch, TensorFlow, PaddlePaddle 등의 딥러닝 프레임워크를 통해 짜여진 딥러닝 모델을 TensorRT를 통해 모델을 최적화하여 TESLA V100 같은 NVIDIA GPU 에 올린다.

 

Tao toolkit 예제는 이거 참조하면될듯?

https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tao/resources/cv_samples/version/v1.3.0/files/detectnet_v2/detectnet_v2.ipynb