生成AI・LLM — 10 / 30
生成AIが一度に覚えておける・読み込める文章の量の上限のことです。トークンという単位で表され、渡した資料とそれまでの会話のやりとりの合計が、この枠の中に収まっている必要があります。机の広さにたとえるとイメージしやすいです。
コンテキストとは「文脈」という意味です。AIは答えを作るとき、今の質問だけでなく、それまでの会話や渡された資料をまとめて見ています。この、まとめて見られる範囲の大きさがコンテキストウィンドウです。上限を超えた分は、古いものから見えなくなったり、読み込めなかったりします。
枠の大きさはAIのモデルやプランによって大きく違い、新しいモデルが出るたびに広がる傾向があります。ただし、具体的な上限はサービスごとに異なり、変わることも多いため、正確な値は各サービスの公式情報で確認するのが確実です。
枠が大きくても、資料の真ん中あたりの情報は見落とされやすい、という傾向が指摘されています。重要な条件は最初か最後に書く、質問と関係の深い部分を明示する、といった工夫で答えの正確さが上がりやすくなります。
大量の社内資料を毎回まるごと読ませる代わりに、質問に関係する部分だけを探して渡す仕組み(RAG)を使う方法もあります。資料の量が多い場合や、何度も同じ資料を使う場合には、こちらのほうが費用と正確さの面で向いていることがあります。
長いマニュアルや過去1年分の議事録などをまとめて読ませたいときに関係します。枠が大きいサービスほど長い資料を一度に扱えますが、会話が長く続くと、最初のほうに伝えた条件を忘れたような答えが返ってくることもあります。
従業員40人ほどの樹脂成形メーカーが、分厚い品質マニュアルをAIに読ませて質問に答えさせる場合、全文を毎回渡すより、関係する章だけを渡すほうが答えが安定しやすいと考えられます。章立ての目次を先に渡すのも一つの方法です。
地方の旅館が、過去の口コミをまとめてAIに読ませて傾向を整理させる場合、件数が多すぎると枠に収まりません。月ごとに分けて要約させ、最後にその要約をまとめさせるといった進め方が考えられます。
行政書士事務所が、顧客との長いやりとりをもとに書類の下書きを作らせる場合、会話が長くなると最初の条件が反映されにくくなります。重要な条件を箇条書きにして、指示の冒頭にあらためて書くといった使い方が考えられます。
※ 特定の企業の事例ではなく、よくある場面をもとにした想定例です。
読み込めることと、全体を正確に覚えて使えることは別です。資料が長いほど、途中の内容を見落とすことがあります。
基本的には、1つの会話の中だけで覚えています。新しい会話を始めると、前の内容は引き継がれないのが普通です(記憶機能があるサービスは別)。
多くのサービスは、モデルごとの上限を公式サイトの料金ページや説明ページで公開しています。プランによって上限が違うこともあるため、自社で契約しているプランの条件を確認してください。
それまでの要点をAIにまとめさせ、その要点を新しい会話の最初に貼り付けて続けるのが手軽な方法です。条件や前提を短く整理し直すだけでも、答えが安定することが多いです。
長い資料を扱いやすくはなりますが、見落としがなくなるわけではありません。また、大きな枠を使うほど処理に時間や費用がかかることもあります。業務に必要な長さを考えて選ぶのが現実的です。
「AIが一度に机に広げておける資料の量です。広くても、大事なところは指で示してあげると正確になります」