Hugging Face这一段时间来特别火,融资拿到了一大笔钱,还跟Cousera这些社区常常联系,推出了diffusers,Gradio,Transformers等等好用的库和框架.也可以作为上传数据集和模型的地方,这里尝试玩玩其常用的一些功能.
大模型剪枝和蒸馏
发表于 更新于
本文字数： 1.3k 阅读时长 ≈ 1 分钟
本文字数： 1.3k 阅读时长 ≈ 1 分钟
大模型参数多,结构复杂,因此对于它的压缩非常重要,压缩方法包括pruning,Knowledge Distillation,Quantization等等.事实上这方面的论文相对来说并没有那么多.
这里介绍一下剪枝和蒸馏相关技术.
ZTM-pytorchForDL
发表于 更新于
本文字数： 11k 阅读时长 ≈ 10 分钟
本文字数： 11k 阅读时长 ≈ 10 分钟
ZeroToMasteryZero to Mastery Learn PyTorch for Deep Learning上的课程学习
pytorch学习——初探
发表于 更新于
本文字数： 3.8k 阅读时长 ≈ 3 分钟
本文字数： 3.8k 阅读时长 ≈ 3 分钟
我并没有系统地翻阅Pytorch文档,一般都是看别人pytorch实现的网络代码,哪里有不懂的再去看.现在找到一些tutorial并做一些简单的尝试.
Autoencoder学习
发表于 更新于
本文字数： 8.8k 阅读时长 ≈ 8 分钟
本文字数： 8.8k 阅读时长 ≈ 8 分钟
这种encoder-decoder结构很重要,同时也可以作为学习GAN的前置