Kubernetesノードのスワップテストで、ワークロード密度の向上を確認
高速なソリッドステートストレージを用いたテストで、最大三倍の密度向上が確認され、レイテンシーの増加はほとんど、あるいはまったくないケースが多くみられました。
AIイラスト高速なNVMeソリッドステートドライブをバックエンドとするスワップを使用したKubernetesノードのテストで、ワークロード密度が最大三倍向上し、レイテンシーの増加はほとんど、あるいはまったくないケースが多くみられました。スワップを有効にしたノードの実行のサポートは、v1.34で一般提供(GA)に達しました。
このベンチマーク作業では、CI/CDカーネルビルド、サンドボックス化されたヘッドレスブラウザー、分離されたPythonランタイムという三種類のワークロードを調べました。作成者らはスワップを使って休眠状態のメモリをRAMから移し、ノードがより多くのポッドを収容できるようにしました。報告されている向上はこれらのテストについてのものであり、すべてのワークロードで同様の改善が得られることを示すものではありません。
処理能力を使い切る前に、メモリが制約となるリソースになることがあります。エージェント型AIのワークロードはこの負荷をさらに高めます。起動や信頼できないコードの実行に大きなメモリフットプリントが必要になる場合があるためです。さらに、次のプロンプトを待つ間も常駐し続け、アイドル状態の間もメモリを消費することがあります。
テストで示されたアプローチは、このアイドル状態のメモリを高速ストレージに置くことで対処するものです。著者らは、これによりノードがサポートするPodの数を増やせることを確認しましたが、その効果の大きさはテスト対象のワークロードによって異なります。