查找Pycharm跑代码下载模型存放位置以及有关模型下载小技巧(model_name_or_path参数)
创始人
2024-05-31 21:08:48
0

目录

  • 一、前言
  • 二、发现问题
  • 三、删除这些模型
    • 方法一:直接删除
      • 注意
    • 方法二:代码删除

一、前言

当服务器连不上,只能在本地跑代码时需要使用***预训练语言模型进行处理

免不了需要把模型下载到本地

时间一长就会发现C盘容量不够

在这里插入图片描述

二、发现问题

正常使用情况下,c盘突然“爆红”肯定与下载的模型有关系

这里以我实际代码为例

reader = FARMReader(model_name_or_path="distilbert-base-uncased-distilled-squad",use_gpu=True)

FARMReader是已经封装好的api

直接安装三方库调用就行

执行上一段代码会出现下载模型的进度条

但是并没有说明下载位置在哪

经过不断排查文件终于找到了模型所在位置

**C:\Users\你的名字\\.cache\huggingface**

如下图所示:

在这里插入图片描述

解释下以上四个文件分别用于保存什么:

 1. datasets:表示存储代码中需要下载的数据集内容;2. hub:这里具体保存什么没太弄清楚。我这里保存的是预训练语言模型;3. modules:这里保存在部分代码所需要的三方库模块,可能还存有部分datasets_modules内容;4. transformers:这个就是我们最常用的huggingface中封装有关transformers函数。

在这里插入图片描述
比如图片中红框内全是我下载只用了一次的模型

三、删除这些模型

方法一:直接删除

在上述文件夹下找到你想删除模型的文件夹

直接右键删除就行

但是当你再次使用该模型会重新下载到这个地方

注意

删之前一定要想清楚

删错了导致模型无法识别不能怪我

方法二:代码删除

新建python输入以下内容:

from transformers import cachecache.clear()

就会来清除电脑缓存中的模型

如果效果不是特别理想

可以两种方法结合着来

相关内容

热门资讯

喜欢穿一身黑的男生性格(喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识,其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...
发春是什么意思(思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思,以及思春和发春是什么意思对应的知识点,希望对各位有所帮助,...
网络用语zl是什么意思(zl是... 今天给各位分享网络用语zl是什么意思的知识,其中也会对zl是啥意思是什么网络用语进行解释,如果能碰巧...
为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?,以及为什么酷狗下载的歌曲不是...
华为下载未安装的文件去哪找(华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识,其中也会对华为下载未安装的文件去哪找到进行解...
家里可以做假山养金鱼吗(假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识,其中也会对假山能放鱼缸里吗进行解释,如果能碰巧解...
四分五裂是什么生肖什么动物(四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物,以及四分五裂打一生肖是什么对应的知识点,希...
怎么往应用助手里添加应用(应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识,其中也会对应用助手怎么添加微信进行解释,如果能...
客厅放八骏马摆件可以吗(家里摆... 今天给各位分享客厅放八骏马摆件可以吗的知识,其中也会对家里摆八骏马摆件好吗进行解释,如果能碰巧解决你...
美团联名卡审核成功待激活(美团... 今天百科达人给各位分享美团联名卡审核成功待激活的知识,其中也会对美团联名卡审核未通过进行解释,如果能...