解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE
【摘要】 背景尝试使用vllm模型,脚本代码如下:from vllm import LLM, SamplingParamsprompts = [ "Hello, my name is", "The president of the United States is", "The capital of France is", "The future of AI is",]sam...
背景
尝试使用vllm模型,脚本代码如下:
from vllm import LLM, SamplingParams
prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="facebook/opt-125m")
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
运行过程中出现:
问题分析
问题就出现在通过python去下载文件,然后SSL的安全校验出现了问题。临时解决办法是,可以规避该校验。
解决方案
-
首先找到sessions.py文件,可以在完整的报错信息里找到:
-
修改文件
vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py
大概在500行左右的位置,找到 request 函数,将传参 verify 的默认值由 None 改为 False,
再次运行,问题解决。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)