行动: LoRA微调

max0
·
·
IPFS

行动: LoRA微调
清晨,我在任务列表中挑出了那个排了几天的任务 - LoRA微调。
它之所以排了几天,是我认需要磨上几天才能摸得透的事情。比如,低秩矩阵的拆与合,权重更新里面那些看不到的关节,总得折腾几天。可真正动起手来,才发现,我以为曾经高的门槛,竟然已经低的出乎意料。
门槛下来了,步子自然就快了,两个番茄钟还没走完,一个最简单的测试模型的微调就跑通了,不是差不多,而是实打实的走了一遍微调。
真正让人振奋的是,既然门槛打开了,于是就把昨天考虑的那本新科目的题目翻了出来,于是,打开NotebookLM,几分钟之内,就让它帮我将昨天上传的两本书生成了100个训练集合,导入微调流程,一个专治该科目的模型,就微调出来了。
回头再看,今天教给我的,不是LoRA有多好用,而是一个朴素的道理:真正拦着人的,不是能力或者困难,而是这事太重,做不动的那层犹豫。

CC BY-NC-ND 4.0 授权
max0Exploring where technology meets humanity — through Web3, AI, and the pursuit of digital inclusion.
  • 来自作者
  • 相关推荐

邗沟变迁

困境与觉醒:区块链的分层进化论

Halloween Night