こんにちは、NTTテクノクロス株式会社の寺尾です。

前回まででパケット処理の動かし方までを紹介させて頂きました。DPDKではCPU,メモリ, NICなどの低レベルリソースをユーザから設定を行う必要があります。今回はよく利用する設定方法をCPUを中心に解説します。よろしくお願いします。

DPDKはEALと呼ばれる低レベルリソースの抽象化層があります。主な役割としては、CPU、メモリ、NIC(PCIデバイス)といった低レベルリソースに対して環境に依存する情報を隠蔽し、DPDKアプリケーションに対してリソースのアクセスを容易にするためのインタフェースを提供します。DPDKを動かす際は、初期作業でアプリケーションが利用するリソースを設定します。EALに関して詳しく知りたい人は、DPDKのサイト(※1)にも記載がありますのでご覧下さい。

※1 Environment Abstraction Layer
https://doc.dpdk.org/guides/prog_guide/env_abstraction_layer.html

例えば DPDKのパケット処理 ～DPDK入門 第2回～ で紹介した L2 Forwarding Sample の場合では、-c 0x3 を指定することで、DPDKに対してCPUの0番と1番を利用するようにEALから設定しました。

メモリやNICに関しては何も設定がないため、基本的にはDPDKで使えるリソースは全て利用されます。尚、「--」 以降のコマンドパラメータはアプリケーション固有の設定になりEALの対象外です。通常、DPDKのリソース設定はmain関数の最初で実施します。以下がソースコードイメージになります。

int main(int argc, char **argv)
{
・・・・
int ret
ret = rte_eal_init(argc, argv);
if (ret < 0)
rte_exit(EXIT_FAILURE, "Invalid EAL arguments\n");
argc -= ret;
argv += ret;
・・・・
}

int
main(int argc, char **argv)
{
・・・・・・
int i=0;
for (i=0;i<argc;i++){
printf("main() argv[%d]=%s\n",i,argv[i]);
}
printf("\n");

/* init EAL */
ret = rte_eal_init(argc, argv);
if (ret < 0)
rte_exit(EXIT_FAILURE, "Invalid EAL arguments\n");
printf("\n");
printf("rte_eal_init() ret=[%d]\n",ret);
for (i=0;i<argc;i++){
printf("main() argv[%d]=%s\n",i,argv[i]);
}
printf("\n");

argc -= ret;
argv += ret;
for (i=0;i<argc;i++){
printf("dpdk-apl argv[%d]=%s\n",i,argv[i]);
}
・・・・・・
}

argc -= ret;
argv += ret;

OSはプロセスに対してCPU(論理プロセッサ)をできるだけ公平に利用するようにスケジューリングする機能があります。プロセスの数はCPUよりも多く存在するため、特定のプロセスがCPUを占有することはせず、あるプロセスが一定時間CPUを使った後は別のプロセスにCPUを渡す必要があります。こういった切り替え処理はコンテキストスイッチと言われ、プロセスを処理するための情報の切り替えなどが必要になり、DPDKアプリケーションのような高速性を求めるアプリケーションにとっては好ましくありません。

しかしisolcpusという設定を行うことで、OSのCPUの割り当て候補となるリストから除外することができます。CPUの割り当て候補のリストのことをCPUアフェニティと言います。通常の状態ではプロセスは全てのCPUを公平に利用しようとしますが、CPUアフェニティを設定することで使用するCPUを制限することができます。

それでは、CPUアフェニティの確認方法やisolcpusの設定方法を解説していきます。今回は自身のシェルスクリプトプロセスを使って、CPUアフェニティの設定状況を確認してみます。

このマシンは論理プロセッサ数は32です。特にCPUの割り当て候補のリストから除外していないため、すべての論理プロセッサが割り当たる可能性があることが分かります。

次にisolcpusを設定します。設定はgrubファイルで行います。今回は論理プロセッサの1番、2番、3番を除外することにします。以下のようにファイルを編集します。

grubファイルの中で、GRUB_CMDLINE_LINUX_DEFAULT の記載を追加します。もしこの行があるようでしたら、isolcpusの文字列だけを追加下さい。

/etc/default/grug

・・・・
GRUB_CMDLINE_LINUX_DEFAULT="isolcpus=1,2,3,5-7"
・・・

※ 複数の場合は「,」区切り、連番の場合は「-」で記載できる

設定が終われば、変更内容を反映してrebootすれば設定完了です。

isolcpusで設定した論理プロセッサが除外されていることが確認できれば設定成功です。isolcpusで除外した論理プロセッサはすべてのプロセスが対象となりますので、意図的に割り当てない限り使われることがありません。

DPDKアプリケーションに割り当てるCPUは上記で除外された論理プロセッサを指定することで、不必要なコンテキストスイッチを無くすことができます。

DPDKではCPU,メモリ, NICなどの低レベルリソースを設定する方法をCPU観点を中心に紹介させて頂きました。DPDKアプリケーションを利用する際は、論理プロセッサやCPUアフェニティ、isolcpusなどの知識があると、より上手にDPDKを扱うことができるかと思います。

次回ですが、メモリやNICに関しての解説をしていきたいと考えています。2018年12月末に公開する予定ですので、よろしくお願いします。ご覧頂きありがとうございました。