解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE

举报
zjun 发表于 2025/01/06 15:10:59 2025/01/06
【摘要】 背景尝试使用vllm模型,脚本代码如下:from vllm import LLM, SamplingParamsprompts = [ "Hello, my name is", "The president of the United States is", "The capital of France is", "The future of AI is",]sam...

背景

尝试使用vllm模型,脚本代码如下:

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

运行过程中出现:

问题分析

问题就出现在通过python去下载文件,然后SSL的安全校验出现了问题。临时解决办法是,可以规避该校验。

解决方案

  1. 首先找到sessions.py文件,可以在完整的报错信息里找到:

  2. 修改文件
    vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py
    大概在500行左右的位置,找到 request 函数,将传参 verify 的默认值由 None 改为 False,

再次运行,问题解决。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。