Ollama

LLMをデプロイする

ダッシュボードのLLMタブを押下しLLM作成画面に遷移します。

任意のLLM Nameを入力し、使用するModel Nameを選択します。

現在以下のモデルが使用可能です。

作成したモデルを確認する

LLMタブから作成したLLMを選択します。

Logsの欄で選択したモデルのステータスがDeployment Succeededであれば作成が成功しています。まだ進行中の場合は作成完了までお待ちください。

App URLはSquadbaseにホストされたLLMのURLです。このURLとSquadbaseのAPI Keyを使用してLLMにリクエストを送ることが可能です。

LLMにリクエストを送る

先ほどのApp URLとSquadbaseのAPI Keyを使用してLLMにリクエストを送ります。

以下はPythonとcURLによるリクエストのサンプルです。

pip install langchain-ollama

from langchain_ollama import ChatOllama
 
llm = ChatOllama(
    model="{MODEL_NAME_YOU_DEPLOYED}",
    base_url="{YOUR_SQUADBASE_LLM_APP_URL}",
    client_kwargs={
        "headers": {
            "x-api-key": "{YOUR_SQUADBASE_API_KEY}",
        }
    },
)
for token in llm.stream("Hello"):
    yield token.content