docker运行nvcr.io/nim/publisher_name/model_name
curl-X“POST”\
'http://0.0.0.0:8000/v1/completions网址' \
-H'接受：application/json'\
-H'内容类型：application/json'\
-d英寸{
“model”：“model_name”，
“prompt”：“从前”，
“max_tokens”：64
}'
导入openai
客户端=openai。开放人工智能(
base_url=“YOUR_LOCAL_ENDPOINT_url”，
api_key=“YOUR_LOCAL_api_key”
)
chat_completion=客户端.chat.completions.create(
model=“model_name”，
messages=[{“role”：“user”，“content”：“Write me a love song”}]，
温度=0.7
)