今天 AI 和 LLM 行业的科技精英或者既得利益者们，肯定不想让你知道。。。
其实， AI 已经颠覆了教育，对，包括 AI 教育本身。
以至于现在任何人都有进入 AI 行业的机会。
只要按照以下关键主题开始和 AI 开始聊天，要求学习，那么普通人都可以从零开始，深入了解 LLM 和 AI 并且变得真正专业。
（当然，最好还是完成 CS - 计算机科学 - 的基本本科教育。。。）
LLM 工作原理的关键主题：
分词和嵌入
位置嵌入（绝对位置，RoPE，ALiBi）
自注意力机制和多头注意力机制
Transformer模型
QKV（查询、键、值）
采样参数：温度，Top-K，Top-P
KV缓存（以及推理速度快的原因）
Infini-attention & 滑动窗口（长文本上下文处理技巧）
混合专家模型 (MoE 路由层)
分组查询注意力
归一化和激活函数
预训练目标（因果语言模型，掩码语言模型等）
微调 vs 指令微调 vs 基于人类反馈的强化学习（RLHF）
缩放定律和模型容量曲线
额外主题：
量化 - QAT vs PTQ（GGUF，AWQ等）
训练 vs 推理堆栈（DeepSpeed，vLLM等）
合成数据生成
![我就说AI代替不了人类吧[doge]](http://image.uczzd.cn/11168637053587929967.jpg?id=0)
