エンドポイントの管理
推論にOCI生成AIカスタム・モデルを使用するには、まずそのモデルのエンドポイントを作成する必要があります。また、プレイグラウンドで使用可能な事前トレーニング済モデルのエンドポイントを作成することもできます。
エンドポイントは、モデルがユーザー・リクエストを受け入れ、モデルの生成されたテキストなどのレスポンスを送信できる専用AIクラスタ上の指定されたポイントです。ホスティング専用AIクラスタにエンドポイントを作成します。
プライベート・エンドポイントを介してモデルにアクセスするには、まずプライベート・エンドポイントを作成してから、このページに戻って専用AIクラスタにモデルのエンドポイントを作成する必要があります。
ノート
- カスタム・モデルのアクティブなエンドポイントを作成すると、モデルはプレイグラウンドのモデル・リストにリストされます。
- 各カスタム・モデルに複数のエンドポイントを含めることができます。
- 各ホスティング専用AIクラスタは、多数のエンドポイントをホストできます。専用AIクラスタの詳細ページで、残りのエンドポイントの数を確認します。カスタム・モデルのエンド・ポイントが不要になった場合は、そのエンドポイントを削除し、その専用AIクラスタを使用して新しいエンドポイントをホストできます。
次のタスクを実行して、カスタム・モデルのエンドポイントを作成および管理できます: