エンドポイントの管理

推論にOCI生成AIカスタム・モデルを使用するには、まずそのモデルのエンドポイントを作成する必要があります。また、プレイグラウンドで使用可能な事前トレーニング済モデルのエンドポイントを作成することもできます。

エンドポイントは、モデルがユーザー・リクエストを受け入れ、モデルの生成されたテキストなどのレスポンスを送信できる専用AIクラスタ上の指定されたポイントです。ホスティング専用AIクラスタにエンドポイントを作成します。

プライベート・エンドポイントを介してモデルにアクセスするには、まずプライベート・エンドポイントを作成してから、このページに戻って専用AIクラスタにモデルのエンドポイントを作成する必要があります。

ノート

  • カスタム・モデルのアクティブなエンドポイントを作成すると、モデルはプレイグラウンドのモデル・リストにリストされます。
  • 各カスタム・モデルに複数のエンドポイントを含めることができます。
  • ホスティング専用AIクラスタは、多数のエンドポイントをホストできます。専用AIクラスタの詳細ページで、残りのエンドポイントの数を確認します。カスタム・モデルのエンド・ポイントが不要になった場合は、そのエンドポイントを削除し、その専用AIクラスタを使用して新しいエンドポイントをホストできます。

次のタスクを実行して、カスタム・モデルのエンドポイントを作成および管理できます: