学習済みのモデル（LLM）に対しては、大きく「推論」と「学習」と呼ばれる処理が可能です。
「学習」とは、ファインチューニングのように、モデルに何かを教え込むことを指します。
「推論」とは、LLMに対して質問を投げかけて回答を生成してもらう処理のことを指します。

（図１： 学習と推論について）

「推論」「学習」どちらも動作させるためのマシンリソースが必要となります。
また、モデルのサイズに応じて必要となるマシンリソースは増加します。
特に重要なリソースがGPUとなりますが、巨大なモデルを扱う場合、1台のGPUやGPUマシンではリソースが足りない場合があります。

この課題の解消手法の1つとして、複数のGPU、あるいはGPUマシンで処理を分割して実行するということが考えられます。
1つの処理を複数の媒体（デバイスやマシン）に分割することで、1媒体にかかる負荷・必要リソースを下げることができます。
このように処理を分割して実現することを「分散処理」と呼びます。

（図２： 分散処理について）

分散処理は「推論」と「学習」のどちらも対応できます。
「学習」のほうがリソースが必要となるため、推論は分散が不要でも学習させる場合には必要になる、といった場合もあります。

分散処理のメリット

分散処理のメリットは、巨大なモデルでの処理実行以外にも以下のようなメリットがあります。

ここからは、前節で紹介した処理の動作例を紹介します。
動作例では、複数 GPU マシンでの分散処理も実現でき、かつ初⼼者向け寄りな DeepSpeed を取り扱います。
DeepSpeed を活⽤する為の最初の⼀歩として、DeepSpeed を使って単⼀マシン・単⼀ GPU での推論実⾏例について本節で紹介します。

### 単一マシン・複数GPUを活用した推論指定例
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForLanguageModeling, TrainingArguments, Trainer

# トークナイザー、モデルセット
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Llama-70B")
model = AutoModelForCausalLM.from_pretrained("利用するモデル名", device_map="auto", torch_dtype="auto")

# プロンプトセット
messages = [
　　{"role": "user", "content": [{"type": "text", "text": "ユーザの質問文"}]},
]

# トークナイズ
pr_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 推論実行
outputs = model.generate(pr_ids, max_new_tokens=4096, temperature=0.7)
result = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print(result)

利用したツール、パッケージなどのバージョンについて

使⽤する⾔語は Python になります。
利⽤する各ツール、パッケージ、環境のバージョンや詳細は以下の通りです。
また、今回は GPU を使ってモデルを動かす想定となっております。
したがって GPU が必要、かつ CUDA の設定も必要となります。

◆バージョン一覧

構築手順について

ここからは構築手順について記載します。

wsl --install

　・Ubuntuのダウンロード

#以下サイトからローカル環境にダウンロード
https://cloud-images.ubuntu.com/wsl/jammy/current/

#ファイル名
ubuntu-jammy-wsl-amd64-ubuntu22.04lts.rootfs.tar.gz

　・Ubuntuのインストール

mkdir C:\\WSL\\Ubuntu2204
cd C:\\WSL\\Ubuntu2204\\
cp C:\\Users\\xxx\\Downloads\\ubuntu-jammy-wsl-amd64-ubuntu22.04lts.rootfs.tar.gz .
wsl --import Ubuntu-22.04 C:\\WSL\\Ubuntu2204 C:\\WSL\\Ubuntu2204\\ubuntu-jammy-wsl-amd64-ubuntu22.04lts.rootfs.tar.gz

　・WSL2の確認、起動

#確認
wsl --list --verbose
NAME              STATE           VERSION
* Ubuntu-22.04    Running         2

#起動
wsl -d Ubuntu-22.04

2.SSHの設定
　・SSHのインストール

sudo apt update
sudo apt install openssh-server
sudo service ssh start
sudo systemctl enable ssh

3.必要なライブラリのインストール
　・CUDA Toolkitのインストール

sudo apt update
sudo apt install -y wget gnupg
wget <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub>
sudo mv 3bf863cc.pub /usr/share/keyrings/cuda-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/cuda-archive-keyring.gpg] <https://developer.download.nvidia.com/compute/cuda/repos/ubuntu$>(lsb_release -rs | sed 's/\\.//')/x86_64/ /" | sudo tee /etc/apt/sources.list.d/cuda.list

#CUDA Toolkitのインストール
sudo apt update
sudo apt install -y cuda-toolkit-12-1

#CUDAのパス設定
echo 'export CUDA_HOME=/usr/local/cuda' >> ~/.bashrc
echo 'export PATH=$CUDA_HOME/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

#CUDAの動作確認
nvcc --version

　・PyTorchのインストール（WSL2のUbuntu上で実施）

#pytorchのインストールコマンド
pip3 install torch torchvision torchaudio --index-url <https://download.pytorch.org/whl/cu121>

#WSLの再起動
wsl --shutdown

#WSLの起動
wsl -d Ubuntu-22.04

#インストール確認
python3 check.py

#出力結果
True
NVIDIA GeForce RTX 2080 SUPER

　・check.pyの内容

import torch
print(torch.cuda.is_available())
print(torch.cuda.get_device_name(0))

　・DeepSpeed、Transformers、Accelerateのインストール

pip install deepspeed transformers accelerate

　・pdshのインストール

sudo apt update
sudo apt install pdsh

　・Hugging Faceからモデルのダウンロード

#wslにコピー
cp -r /mnt/c/Users/xxx/.cache/huggingface/hub/models--ABEJA--ABEJA-Qwen2.5-7b-Japanese-v0.1 ~/.cache/huggingface/hub/
Copy-Item -Recurse "C:\\Users\\xxx\\ABEJA-Qwen2.5-7b-Japanese-v0.1" "\\\\wsl$\\Ubuntu-22.04\\home\\xxx"

#コピー確認
ls ~/.cache/huggingface/hub/ABEJA-Qwen2.5-7b-Japanese-v0.1

#オフラインモードの有効化
export TRANSFORMERS_OFFLINE=1
export HF_DATASETS_OFFLINE=1

　ここまでの手順が今回の環境準備となります。

単体推論のソースコードについて

今回は、以下に示すソースコードを利用して単体推論を行ってみます。

vi ds_test_qwen.py

　・ds_test_qwen.pyの内容

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import deepspeed

model_id = "/home/xxx/ABEJA-Qwen2.5-7b-Japanese-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
　　model_id,
　　torch_dtype="auto",
　　low_cpu_mem_usage=True,
　　trust_remote_code=True
)

#DeepSpeed Inferenceでラップ
ds_engine = deepspeed.init_inference(
　　model,
　　tensor_parallel={'tp_size': 1},  # ここを1に変更
　　dtype=torch.float16,
　　replace_with_kernel_inject=True
)

#プロンプトセット
prompt = "こんにちは、自己紹介してください。"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

#推論実行
with torch.no_grad():
　　output = ds_engine.generate(**inputs, max_new_tokens=128)
　　print(tokenizer.decode(output[0], skip_special_tokens=True))

今回は、推論時にHugging Face Hubからモデルをダウンロードする形ではなく、モデルやトークナイザーのロード時にローカルパスを指定することで、ネットワークアクセスなしで推論を行っています。
特筆すべきポイントは以下の箇所となります。

#DeepSpeed Inferenceでラップ
ds_engine = deepspeed.init_inference(
　　model,
　　tensor_parallel={'tp_size': 1},
　　dtype=torch.float16,
　　replace_with_kernel_inject=True
)

ここで DeepSpeed を指定しています。
tensor_parallel にて 1 を指定しているのは、単⼀ GPU で実現する為です。
その後、上で指定した ds_engine を使って推論を実⾏します。

#DeepSpeedによる推論実行該当箇所
output = ds_engine.generate(**inputs, max_new_tokens=128)

実行手順について

以下が推論の実行コマンドになります。

deepspeed ds_test_qwen.py

・推論の実行結果

[2025-09-05 14:40:27,841] [INFO] [real_accelerator.py:254:get_accelerator] Setting ds_accelerator to cuda (auto detect)
[2025-09-05 14:40:29,702] [INFO] [logging.py:107:log_dist] [Rank -1] [TorchCheckpointEngine] Initialized with serialization = False
[2025-09-05 14:40:30,350] [WARNING] [runner.py:220:fetch_hostfile] Unable to find hostfile, will proceed with training with local resources only.
[2025-09-05 14:40:30,350] [INFO] [runner.py:610:main] cmd = /usr/bin/python3 -u -m deepspeed.launcher.launch --world_info=eyJsb2NhbGhvc3QiOiBbMF19 --master_addr=127.0.0.1 --master_port=29500 --enable_each_rank_log=None ds_test_qwen.py
[2025-09-05 14:40:31,664] [INFO] [real_accelerator.py:254:get_accelerator] Setting ds_accelerator to cuda (auto detect)
[2025-09-05 14:40:33,354] [INFO] [logging.py:107:log_dist] [Rank -1] [TorchCheckpointEngine] Initialized with serialization = False
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 26.83it/s]
[2025-09-05 14:40:37,731] [INFO] [logging.py:107:log_dist] [Rank -1] DeepSpeed info: version=0.17.4, git-hash=unknown, git-branch=unknown
[2025-09-05 14:40:37,942] [INFO] [logging.py:107:log_dist] [Rank -1] [TorchCheckpointEngine] Initialized with serialization = False
[2025-09-05 14:40:37,942] [INFO] [logging.py:107:log_dist] [Rank -1] quantize_bits = 8 mlp_extra_grouping = False, quantize_groups = 1
こんにちは、自己紹介してください。また、どのような経緯でこのプロジェクトに関わることになったのでしょうか。
私は2016年に株式会社リクルートに入社し、現在はリクルートテクノロジーズのAIプラットフォーム開発部に所属しています。私の主な業務は、新規事業立ち上げや既存プロダクトの改善に向けたPoC（概念実証）やアジャイル開発の推進です。
このプロジェクトに関わるようになったのは、2021年1月頃に「リクルートグループ全体の
[2025-09-05 14:42:14,952] [INFO] [launch.py:351:main] Process 1062 exits successfully.

最後から2行目に推論結果が表示されていることから、期待通りに動いたことが確認できます。