AIの応答をストリーミングで返す実装とVPSの負荷

レン

ChatGPTみたいに、文字が少しずつ表示される仕組みって、自分でも作れるの？

プロクラ

作れるよ。『ストリーミング』という方法で、AIが答えを作り終わるのを待たずに、できた部分から順番に送る仕組みなんだ。利用者は待ち時間が短く感じられる。

何が嬉しいのか

• 答えが出来上がるまでの『待たされている感』が減る
• 長い答えでも、最初の数行が早く表示されるので離脱されにくい
• 途中で止めたくなったときに、途中で打ち切ることもしやすい

レン

普通に答えをまとめて返すのと、VPS側では何が変わるの？

プロクラ

1回のやり取りにかかる接続の時間が長くなる、というのが大きな違いだよ。まとめて返す場合は一瞬で終わる通信も、少しずつ送る場合は答えが終わるまで繋ぎっぱなしになる。

接続が長引くことの影響

接続を長く保つ処理が同時にたくさん発生すると、1つ1つは軽くても、同時に扱える接続の数に上限が近づいていきます。アクセスが増えてきた段階で、この上限に引っかかっていないかを確認してください。まとめて返す方式より、同時にさばける利用者の数の見積もりを、少し保守的にしておくと安心です。

• 同時に保てる接続数の上限を、事前に確認しておく
• 利用者が途中で離脱した場合に、接続を残さず切る処理を入れる
• アクセスが増えてきたら、この仕組みが詰まっていないか確認する

プロクラ

体感を良くする工夫ほど、裏側では別の負荷を生んでいることが多いんだ。見た目の効果だけで満足せず、繋ぎっぱなしの時間がどれだけ増えているかもセットで確認してね。

レン

アクセスが増えてきたら、ストリーミングをやめたほうがいいこともある？

プロクラ

極端にアクセスが集中する場面では、選択肢としてありえるよ。ただ、いきなりやめるより先に、VPSのプランを上げて同時接続数の上限を広げるほうが、利用者への影響が小さいことが多いね。

プロクラ

利用者にとって嬉しい機能ほど、裏側の負荷にも目を配ってあげてね。見た目の体験と、支えるVPSの余裕、その両方が揃って初めて安心して長く使ってもらえる仕組みになるよ。

プロクラ

ストリーミングは、利用者の体感を大きく良くしてくれる工夫だよ。導入するときは、その効果を楽しみつつ、支える側のVPSにも同じくらい気を配ってあげてね。

通信が途中で切れた場合の扱い

少しずつ送る方式は、まとめて返す方式に比べて、通信が途中で切れたときの影響が目立ちやすくなります。回線の乱れや利用者側の操作で送信が途中で止まると、中途半端な答えが表示されたまま残ることがあります。途中で切れたことを画面側で判別できるようにし、続きを取得し直せる導線を用意しておくと、利用者を混乱させずに済みます。

• 通信が途中で切れたことを、画面側で判別できるようにする
• 中途半端な表示のまま放置せず、再取得の手段を用意する
• サーバー側でも、切れた接続のリソースを残さず片付ける

レン

体感は良くなるけど、繋ぎっぱなしになる分の負荷は別で見るんだね。