Hugging Face Transformers 错误解决方案
2023-09-11 14:14:26 时间
近期项目用到了 Transformers。然而,配置过程中发生了不少问题,好在通过查阅各种论坛(CSDN,Github Issues, Huggingface Discuss, StackOverflow …),最后都解决了。
在这里将问题记录一下,方便后面大家配置。
1. OSError: Unable to load weights from pytorch checkpoint file
这个问题,是最最难解决的。
我解决这个问题主要经过了三个过程:
1.1 网络连接问题
直接使用 Transformers 提供的方法,很容易发生这个问题。
-
例如,通过下列代码加载模型:
-
from transformers import AutoTokenizer, AutoModelForQuestionAnswering tokenizer = AutoTokenizer.from_pretrained("uer/roberta-base-chinese-extractive-qa") model = AutoModelForQuestionAnswering.from_pretrained("uer/roberta-base-chinese-extractive-qa")
- 1
- 2
- 3
解决方案:
-
选择 git lfs 下载模型文件:
-
git lfs install git clone https://huggingface.co/uer/roberta-base-chinese-extractive-qa
- 1
- 2
-
下载后,将模型路径修改为本地文件路径。
-
from transformers import AutoTokenizer, AutoModelForQuestionAnswering tokenizer = AutoTokenizer.from_pretrained("./model/roberta-base-chinese-extractive-qa") model = AutoModelForQuestionAnswering.from_pretrained("./model/roberta-base-chinese-extractive-qa")
- 1
- 2
- 3
1.2 缓存问题
上面的步骤完成后,问题仍然无法得到解决。这时,我们就要清理一下缓存,然后再进入下一步。
缓存的位置在 ~/.cache/pytorch
以及 ~/.cache/transformers
中。删除缓存即可。如果缓存内没有其他内容,可以直接删除文件夹。
1.3 Pytorch 版本问题
最后,需要检查 PyTorch 版本。Transformers 加载模型需要 PyTorch 版本在 1.6 以上。如果版本没有达到,需要更新 PyTorch。
经过这一步,问题基本可以解决。
pip install --upgrade pytorch torchvision
# 如果无法更新,可以先卸载再重新下载
pip uninstall torch
pip install pytorch
- 1
- 2
- 3
- 4
- 5
参考内容
相关文章
- Ubuntu 14中,Foxmail关联163邮箱账号时,总提示“密码错误”的解决方案
- 苹果CMS的V10版本后台登录一直提示验证码错误的解决方案
- Visual Studio 2012 编译错误【error C4996: 'scanf': This function or variable may be unsafe. 】的解决方案
- Geocoding java调用百度地图API v2.0 图文 实例( 解决102错误)
- Jquery.ajax报parseerror Invalid JSON错误的原因和解决方法:不能解析
- ORA-01097错误解决办法及探索shutdown immediate
- EasyDSS RTMP流媒体服务器videojs flash播放RTMP/HLS提示错误的解决方案
- 从 SAP WebIDE 里向Github 发起 push 的错误消息 - Git result: REJECTED_NONFASTFORWARD
- package javax.servlet.jsp.tagext does not exist的错误消息如何解决
- 错误1Files 的值“<<<<<<< .mine”无效。路径中具有非法字符。
- Atitit.dwr3 不能显示错误详细信息的解决方案,控件显示错误详细信息的解决方案 java .net php
- 打开My Lead detail page会发生timeout的错误的解决方案
- AFNetworking 3.0 Code=-1016 错误解决方案
- 记录mybatis添加表数据时报出的错误:Could not set property ‘id‘ of ‘class com.xxx.Manager with value ‘xx...xx‘
- 注册表的操作1314错误原因权限问题
- Mac系统下安装Tomcat,以及终端出现No such file or directory的错误提示解决方案
- Eclipse正在使用Ant扑灭Android数据包错误的解决方案 – Perhaps JAVA_HOME does not point to the JDK
- 【观点】7个测试自动化的错误及解决方案实例
- metasploit之Windows Services漏洞提权实战——利用Windows服务是以SYSTEM权限运行的,如果配置错误让我们修改该服务的二进制文件路径属性,则可以实现提权
- mysql message from server: “Too many connections“ 错误现象 解决方案
- Command line is too long 错误现象解决方案
- SVN提交时出现locked错误解决办法
- autoconf-archive编译错误及解决