TOAST GPUサービスの紹介

はじめに

GPUインスタンスは、インスタンスにGPU(Graphics Processing Unit)が追加設定された仮想サーバーです。
科学的発見からディープラーニングに至るまで、さまざまな分野で使用されています。

GPGPUとは

– GPGPU(General-Purpose computing on Graphics Processing Units)
– GPUをCPUが担っていた演算に使用し、演算速度を向上させる技術
– 単純なものを素早く計算する

CPUとGPUの違い

CPU:さまざまな環境のタスクを処理するため、制御装置(control unit)、キャッシュ、ALU(Arithmetic Logic Unit, CPU算術論理演算装置)の処理構造が複雑

GPU:特化した演算のみを処理するため、制御装置、キャッシュよりも多数のALUで構成される

【図1】GPUはデータ処理を計算するため、より多くのトランジスタを使用する

CPU:各スレッド内のレイテンシーを最小化する
すべてのスレッドはデータ取得時間(Waiting for data)を最小限に抑える。
単一タイムスライス(single time slice)間で、可能な限り多くのワークスペース(Processing)を実行する。

GPU:各クロック周期(clock cycle)で停止したスレッドを他のスレッドに切り替える
T1スレッドがデータ取得時間(Waiting for data)により停止した際、他のT2が処理する方法でT3、T4を使用する。
その間、T1は処理するデータを取得する。

【図2】Low Latency or High Throughput

GPU仕様

NVIDIA V100 NVIDIA T4

TOAST GPUサービス

GPUインスタンス仕様

GPUモデル GPU数 コア数 メモリ容量
NVIDIA V100(NVLink) 1 8 core 90 GB
NVIDIA V100(NVLink) 2 16 core 180 GB
NVIDIA V100(NVLink) 4 32 core 360 GB
NVIDIA V100(NVLink) 8 64 core 720 GB
NVIDIA T4(PCI) 1 4 core 32 GB
NVIDIA T4(PCI) 2 8 core 64 GB
NVIDIA T4(PCI) 4 16 core 128 GB
NVIDIA T4(PCI) 8 32 core 256 GB
NVIDIA T4(PCI) 12 64 core 384 GB

インスタンスの基本ディスクは20GB〜1000GBまでです。
GPUはPCIパススルー方式(PCI PassThrough)で割り当てられます。

GPUインスタンスの作成

コンソールのCompute> GPU Instanceが有効になっている場合は、GPUインスタンスが作成できます。
インスタンスの作成ボタンをクリックします。

【図3】インスタンス作成画面(1)

インスタンスを作成します。

【図4】インスタンス作成画面(2)

GPUインスタンスに接続

インスタンスの作成が完了したら接続情報に従って接続します。
【図5】インスタンスの接続情報

GPU情報の確認

インスタンスに接続してnvidia-smiコマンドを実行し、GPU情報(下図)を確認します。

shell> nvidia-smi

バージョン情報
– NVIDIA Driver Version:440.33.01
– CUDA Version:10.2

GPU情報
– 使用可能なGPU数:GPU 0〜7(8個使用)
– GPUモデル:Tesla V100-SXM2
– Persistence mode状態:Persistence_mode On
– 現在のGPUの温度:Temp 52C
– 現在の電力使用量/最大電力使用量:Pwr Usage / Capacity 298W / 300W
– 現在のメモリ使用量/最大メモリ使用量:Memory-Usage 29283MiB / 32480MiB
– GPU Utilization:GPU-util 100%

Processes情報
– GPU別PID、Process name、GPU Memory Usage情報
– Type情報
– C = compute = CUDA or OpenCL
– G = graphics = DirectX or OpenGL

TOAST Meetup 編集部

TOASTの技術ナレッジやお得なイベント情報を発信していきます
pagetop