二分类数据集 Zookeeper使用 Jmeter 顺序查找 二叉树排序 extjs6.5 个人收款码 dom meteor constructor proxy base64 vue开发教程 十大erp系统 jquery绑定事件的方法 bentley软件介绍 edate函数的使用方法 清空input文本框的值 matlab中如何定义函数 小程序下拉刷新样式 flutter优缺点 python中的map函数 javafile 搭建java开发环境 java中的基本数据类型 java编程语言 java中new java代码注释 java集合图 java配置文件 sql语句大全实例教程 网络适配器驱动 微信助力软件 御旌是什么 comsol软件下载 java电子书 pr蒙版 碧桂园园宝 圆角矩形工具改变弧度 只狼全鬼佛
当前位置: 首页 > 学习教程  > 编程语言

下载bert的预训练模型并加载训练

2020/12/5 10:20:40 文章标签:

总结 使用 huggingface下载预训练好的bert模型,并加载。文章来源:csdn:LawsonAbs文章写于[20201205] 1.具体步骤 step1.进入网址 https://huggingface.co 搜索自己需要的模型名(下面以bert-base-uncased 为例)step2.在如下的界面中&#xf…

总结

  • 使用 huggingface下载预训练好的bert模型,并加载。
  • 文章来源:csdn:LawsonAbs
  • 文章写于[20201205]

1.具体步骤

  • step1.进入网址 https://huggingface.co 搜索自己需要的模型名(下面以bert-base-uncased 为例)
  • step2.在如下的界面中,找到一个 Files and versions
    在这里插入图片描述
  • step3. 进入如下的界面,(这里以下载pytorch版的模型为例)
    下载如下三个红框中的内容即可。
    在这里插入图片描述
  • step4.具体使用
    我将上述下载好的内容放到了 /home/lawson/pretrain/bert-base-uncased 文件夹下。那么我就可以在程序中这么用:
import torch as t
from transformers import BertTokenizer,BertModel
str = "I used to be a bank, but I lose interest." 
tokenzier = BertTokenizer.from_pretrained("/home/lawson/pretrain/bert-base-uncased")
bert = BertModel.from_pretrained("/home/lawson/pretrain/bert-base-uncased")

2.文件释义

2.1 模型文件

pytorch_model.bin 就是一个pytorch版的模型文件,同样可以在链接中下载tensorflow,或者是rust的模型文件。

2.2 配置文件

config.json 是预训练模型的配置文件,内容如下所示:
在这里插入图片描述

3.其它问题

可能有的时候加载训练好的模型会报错,明明操作是对的,但是就是报错,常见的错误有:OSError: Couldn't reach server at '/home/lawson/pretrain/.... to download configuration...',如下所示:
在这里插入图片描述这种情况的出现是因为 config.json 这个文件中的内容是错误的,导致程序无法识别,删除掉重新下载就好了。【这种情况常出现在网络不佳时下载文件导致】


本文链接: http://www.dtmao.cc/news_show_450194.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?