[ERROR] Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

GPU 메모리가 부족하다는뜻이다. 해결책으로는

1. 데이터셋 크기 줄이기 

2. 배치사이즈 줄이기

3. 메모리가 큰 인스턴스 사용하기 ( 단순 메모리만 늘린다고 큰 인스턴스를 사용했다가는 멀티 지피유를 사용하게되고 가격폭탄을 맞을수 있다.. 조심조심...)