세상은 내가 정하는 대로 세상은 내가 정하는 대로

시간, 메모리 효율적으로 LLM 학습하기 (2)(DP, DDP, FSDP, DeepSpeed ... )    모델을 학습시키다 보면 OOM 문제를 맞닥뜨리게도 되고, 또 학습하는 시간 때문에도 골머리를 앓게 된다...! 본인에게 가능한 환경에서 최대한의 퍼포먼스를 낼 수 있는 방법을 찾아보자!  본 포스트에서는 Multi GPU 환경에서 할 수 있는 방안에 대해서 살펴본다  아래의 글과 영상을 참고한다.     https://huggingface.co/docs/transformers/perf_train_gpu_many Efficient Training on Multiple GPUsIf training a model on a single GPU is too slow or if the model’s weig..