By - YunYangPosted on 2026-10-102026-10-09Posted in AI【AI】大模型训练三阶段与 LoRA 微调:从预训练到领域适配一、开篇:训练与微调的两条主线 一个好用的大模型要经历两件事:训练阶段让它学会语言与服从指令,微调与检索让它适 Read More
By - YunYangPosted on 2026-10-092026-10-08Posted in AI【AI】Temperature 与采样策略:大模型如何控制输出一、开篇:确定性与创造性由谁决定 同样是写一段话,大模型有时输出稳定严谨,有时又天马行空。这个差异主要来自 T Read More
By - YunYangPosted on 2026-10-082026-10-08Posted in AI【AI】自注意力机制与 KV Cache:大模型如何逐 token 生成二、自注意力机制 2.1 一句话原理 自注意力,就是句子里的每一个词,都会和句子当中所有其他词计算相关性。首先 Read More
By - YunYangPosted on 2026-09-302026-10-08Posted in AI【AI】从 Token 到上下文窗口:大模型如何“读”懂文字一、开篇:为什么关心 Token 无论是写提示词、选模型,还是评估成本,Token 都是绕不开的基础概念。它决 Read More