CUDA - 스트림(stream)

CUDA Stream은 어플리케이션을 가속시키는 데 중요한 역할을 한다. 하나의 CUDA Stream은 하나의 큐를 나타내며, 여기에는 특정 순서에 따라 실행될 GPU 작업들이 추가되어 있다. 커널의 실행, 메모리 복사 그리고 이벤트의 시작과 중지와 같은 작업들을 하나의 스트림에 추가할 수 있다. 스트림에 추가된 작업들의 순서가 곧 실행될 순서를 의미한다. 각 스트림을 GPU 상의 하나의 태스크로 여길 수 있으며, 이러한 태스크들은 병렬로 실행될 수 있다. 

CUDA Stream을 사용하기 위해서는 디바이스 오버랩(Device Overlap)이라고 알려진 기능을 제공하는지 확인해야한다.

CUDA Stream을 사용하는 방법은 다음과 같다.

CUDA Stream은 고정 메모리를 이용해야만 한다.