AIエージェントにとってのグラウンドホッグデー:Amazon Bedrock上でOpenAIモデルを活用するためのプロンプトキャッシュのパターン
エージェントが一歩進むたびに、行動を起こす前に文脈全体を再読み込みします。以下は、Amazon Bedrock上のOpenAIモデルにおけるプロンプトキャッシュが、エージェントの記憶を保持することで、毎ターン同じツールや指示、履歴を再送信することなく、入力コストと遅延を削減する仕組みです。
エージェントが一歩進むたびに、行動を起こす前に文脈全体を再読み込みします。以下は、Amazon Bedrock上のOpenAIモデルにおけるプロンプトキャッシュが、エージェントの記憶を保持することで、毎ターン同じツールや指示、履歴を再送信することなく、入力コストと遅延を削減する仕組みです。
エージェントが一歩進むたびに、行動を起こす前に文脈全体を再読み込みします。以下は、Amazon Bedrock上のOpenAIモデルにおけるプロンプトキャッシュが、エージェントの記憶を保持することで、毎ターン同じツールや指示、履歴を再送信することなく、入力コストと遅延を削減する仕組みです。