PyTorch

[hale-in]

What?

파이토치 공부 내용들을 정리할게요.

Why?

파이토치를 얼렁뚱땅 가져다쓰고 있는 것 같아서.

To-do's

• 데이터 로드를 파이토치로 하는 방법?
• 신경망 모델을 정의하는 방법?
• cuda는 뭐지?

[hale-in]

데이터 작업을 위한 기본 요소 두가지

1. torch.utils.data.DataLoader
2. torch.utils.data.Dataset

"Dataset 은 샘플과 정답(label)을 저장하고, DataLoader 는 Dataset 을 순회 가능한 객체(iterable)로 감쌉니다."

https://tutorials.pytorch.kr/beginner/basics/quickstart_tutorial.html

[hale-in]

PyTorch에서 신경망 모델은 nn.Module 을 상속받는 클래스(class)를 생성하여 정의합니다.
init 함수에서 신경망의 계층(layer)들을 정의하고
forward 함수에서 신경망에 데이터를 어떻게 전달할지 지정합니다.
가능한 경우 GPU로 신경망을 이동시켜 연산을 가속(accelerate)합니다.

[hale-in]

Pytorch에서의 Tensors는 NumPy의 배열과 비슷한데, 추가로 Tensors도 CUDA를 지원하는 GPU에 사용할 수 있다.
CUDA("Compute Unified Device Architecture") 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술

[eubinean]

BERT/sourcescoring/examples/explore_tensor.py

Line 44 in d86d1f7

print(tenso.device) # 얜 뭐지 CPU.. Device tensor is stored on라는데

tensor.device의 용도?

tensor  = ...
tensor.to(device)

원하는 디바이스로 통일해야함