「システムは本当にこのアクセス数に耐えられるのか?」。リリース前に誰もが抱くこの不安を払拭するのが「負荷試験」です。 当社で毎週水曜日に開催されている社内勉強会。第17回となる今回はAIQユニットの伊藤さんが登壇し、「システムはどこまで耐えられるのか?通常負荷から限界性能まで徹底検証!」と題したセッションを行いました。 負荷試験の基礎知識から、実際のLLM(大規模言語モデル)APIを利用したシステムでのリアルな失敗談、テストツール特有の苦労話まで、現場の生々しい知見が共有された本セッションのエッセンスをお届けします。

1. 負荷試験とは?「速さ」と「壊れにくさ」を測る
機能テストが「正しく動くか」を見るのに対し、負荷試験を含む非機能テストは「どれだけ動くか」を検証します。 伊藤さんは、たくさんの人が同時に使っても「速さ」と「壊れにくさ」を保てるかを確かめることが負荷試験の目的だと語りました。
- ・多様な試験パターン: 想定する人数で要件を満たすかを見る「負荷テスト」や、限界値や壊れ方を見る「ストレステスト」、急激な増減に対応できるかを見る「スパイクテスト」など、確かめたいことに合わせて負荷の形を変える手法が紹介されました。
- ・症状と原因の記録: 利用者から見える「症状(応答時間やエラー率)」と、システム側の「原因(CPUやメモリ、DB接続数など)」の両方を同じ時間軸で記録し、突き合わせて見極めることが重要です。
2. ユーザー体験を正確に測る指標「P95」とは
負荷試験で「何を測るか」を考える際、伊藤さんが特に強調したのが「P95」という指標です。 P95とは、リクエストを早い順に並べた際、全体の95%が収まる応答時間の境界値を指します。 平均値だけでシステム性能を見てしまうと、極端に遅い一部のリクエスト(外れ値)の影響を受けて全体像が歪んだり、逆に遅延が隠れてしまったりすることがあります。P95を見ることで稀な外れ値に左右されにくくなり、大半の利用者の体験の上限を正確に把握できるのです。
3. 実践のリアル:LLMのAPI制限と「429エラー」の罠
勉強会後半のディスカッションでは、実際のプロジェクトで直面した生々しい課題も共有されました。伊藤さんが実際に苦労したのは、LLMのAPIを呼び出すシステムの負荷試験でした。
- ・予想外のエラー発生: 10人程度の同時接続でAPIを叩いたところ、10件中1件がエラーで落ちる現象が発生しました。
- ・原因はリソース枯渇: 調査の結果、クラウド側の「429(Too Many Requests)」エラーであり、グローバルリージョンにおけるリソース枯渇が原因であることが判明しました。
伊藤さんは「何万アクセスもあれば別だが、たった10人でリソース不足が起きるのか」と驚いたと率直な感想を吐露しました。同席していた先輩社員の知見もあり原因を特定できましたが、クラウドや外部API特有の制限は、費用を抑えるためにモックを活用しつつも、実際に本物のAPIを叩いてみないと気づけない落とし穴です。
4. 負荷試験は「準備」が命。エラーが出るからこそ面白い
また、テストツール「k6」を用いた負荷試験の裏話も語られました。
- ・準備フェーズのハードル: データの準備やスクリプトのカスタマイズ、APIのトークン上限数の調査、ログからP95を集計するための環境構築など、実施前の準備段階が非常に大変だったと振り返りました。
- ・弱点が見える面白さ: 一方で、準備さえできればコマンド一つで実行可能になります。「要件を満たしてすんなり終わるより、エラーが出てシステムの弱点が見えた方が、原因を探すやりがいがあって面白い」と伊藤さんは語ります。
泥臭い準備を乗り越え、システムの限界値とボトルネックを明らかにしていく。エンジニアとしての探究心が垣間見えるセッションとなりました。
編集後記
毎週水曜日に開催されている社内勉強会。今回はAIQユニットの伊藤さんによる、実践的な負荷試験の手法とリアルな苦労話が詰まった素晴らしいセッションでした。 教科書通りの知識だけでなく、「実際にやってみたらLLMのAPIですぐに制限に引っかかった」「準備が面倒だったが、弱点が見つかるのは面白い」という現場ならではの率直な気づきが共有されるのは、ユニット横断でノウハウを交流する当社のカルチャーを象徴していると感じました。(ちなみに、今回のスライド資料の多くはAIに指示を出して効率的に自動生成したそうです!)
当社では現在、最新技術を活用しながら、共にプロダクトと組織を成長させていく仲間を募集しています。このような技術交流や課題解決のプロセスにワクワクした方は、ぜひ採用ページもご覧ください!