LLMs 相关知识及面试题

简介

本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 🌟 star，谢谢！

为了在低资源情况下，学习大模型，进行动手实践，创建 tiny-llm-zh仓库，旨在构建一个小参数量的中文大语言模型，该项目已部署，可以在如下网站上体验：ModeScope Tiny LLM。

动手实践项目：

• tiny-llm-zh : 从零实现一个小参数量的中文大语言模型，快速掌握大模型预训练、微调、RL等相关技术；
• tiny-rag : 实现一个简单的RAG系统，支持多路召回、重排等功能，快速了解搜索相关内容；
• tiny-mcp : 使用 Prompt 和 Function Calling 实现 MCP （模型上下文协议）服务端和客户端，快速使用MCP搭建Agent项目。
• llama3-from-scratch-zh : 从零实现 llama3, 可加载 meta 官方权重，可在本地笔记本（16G内存）调试运行

其他学习资源推荐：

• AI 工程师八股 : 包含深度学习、机器学习、推荐系统、搜索系统等通用知识

在线阅读

在线阅读链接：LLMs Interview Note

注意：

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

本仓库公开用于学习，但未附开源许可证；引用资料和第三方图片仍保留原权利人的权利。详细说明见 NOTICE.md。

欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：

目录

• 首页
• 真实面试题
• 01.大语言模型基础
  • 1.1 大模型发展历程
    • 1.语言模型
  • 1.2 分词与词向量
    • 1.分词
    • 2.jieba分词用法及原理
    • 3.词性标注
    • 4.句法分析
    • 5.词向量
  • 1.3 语言模型基础知识
    • Word2Vec
    • NLP三大特征抽取器（CNN/RNN/TF）
    • NLP面试题
    • LLM为什么Decoder only架构
  • 1.4 深度学习
    • 1.激活函数
  • 1.5 一些题目
    • 1.llm概念
• 02.大语言模型架构
  • 2.1 Transformer模型
    • 1.attention
    • 2.layer_normalization
    • 3.位置编码
    • 4.tokenize分词
    • 5.token及模型参数
    • 6.激活函数
  • 2.2 注意力
    • MHA_MQA_GQA
  • 2.3 解码部分
    • 解码策略（Top-k & Top-p & Temperature）
  • 2.4 BERT
    • bert细节
    • Transformer架构细节
    • bert变种
  • 2.5 常见大模型
    • llama系列模型
    • chatglm系列模型
    • llama 2代码详解
    • llama 3
  • 2.6 MoE
    • 1.MoE论文
    • 2.MoE经典论文简牍
    • 3.LLM MoE ：Switch Transformers
• 03.训练数据集
  • 3.1 数据集
    • 数据格式
  • 3.2 模型参数
• 04.分布式训练
  • 4.1 基础知识
    • 1.概述
    • 2.数据并行
    • 3.流水线并行
    • 4.张量并行
    • 5.序列并行
    • 6.多维度混合并行
    • 7.自动并行
    • 8.moe并行
    • 9.总结
  • 4.2 DeepSpeed
    • deepspeed介绍
  • 4.3 Megatron
  • 4.4 训练加速
  • 4.5 一些有用的文章
  • 4.6 一些题目
    • 1.分布式训练题目
    • 2.显存问题
• 05.有监督微调
  • 5.1 理论
    • 1.基本概念
    • 2.prompting
    • 3.adapter-tuning
    • 4.lora
    • 5.总结
  • 5.2 微调实战
    • llama2微调
    • ChatGLM3微调
  • 5.3 一些题目
    • 1.微调
    • 2.预训练
• 06.推理
  • 6.1 推理框架
    • 0.llm推理框架简单总结
    • 1.vllm
    • 2.text_generation_inference
    • 3.faster_transformer
    • 4.trt_llm
  • 6.2 推理优化技术
    • llm推理优化技术
  • 6.3 量化
  • 6.4 vLLM
  • 6.5 一些题目
    • 1.推理
• 07.强化学习
  • 7.1 强化学习原理
    • 策略梯度（pg）
    • 近端策略优化(ppo)
  • 7.2 RLHF
    • 大模型RLHF：PPO原理与源码解读
    • DPO
  • 7.3 一些题目
    • 1.rlhf相关
    • 2.强化学习
• 08.检索增强RAG
  • 8.1 RAG
    • 检索增强llm
    • rag（检索增强生成）技术
• 09.大语言模型评估
  • 9.1 模型评估
    • 1.评测
  • 9.2 LLM幻觉
    • 1.大模型幻觉
    • 2.幻觉来源与缓解
• 10.大语言模型应用
  • 10.1 思维链提示
    • 1.思维链（cot）
  • 10.2 LangChain框架
    • 1.langchain
• 11.Agentic AI工程
  • 11.1 Agentic AI基础
    • 1.Agentic AI概览
    • 2.MCP模型上下文协议
    • 3.Agent Skills
• [12.LLM Infra与生产系统](/12.LLM Infra与生产系统/)
  • [12.1 LLM Infra基础](/12.LLM Infra与生产系统/)
    • [1.LLM Infra概览](/12.LLM Infra与生产系统/1.LLM Infra概览/1.LLM Infra概览.md "1.LLM Infra概览")
  • [12.2 训练Infra](/12.LLM Infra与生产系统/)
    • [2.训练Infra：从数据到Checkpoint](/12.LLM Infra与生产系统/2.训练Infra：从数据到Checkpoint/2.训练Infra：从数据到Checkpoint.md "2.训练Infra：从数据到Checkpoint")
  • [12.3 后训练Infra](/12.LLM Infra与生产系统/)
    • [3.后训练Infra：SFT、RLHF、DPO、RLVR](/12.LLM Infra与生产系统/3.后训练Infra：SFT、RLHF、DPO、RLVR/3.后训练Infra：SFT、RLHF、DPO、RLVR.md "3.后训练Infra：SFT、RLHF、DPO、RLVR")
  • [12.4 推理Serving Infra](/12.LLM Infra与生产系统/)
    • [4.推理Serving Infra](/12.LLM Infra与生产系统/4.推理Serving Infra/4.推理Serving Infra.md "4.推理Serving Infra")
  • [12.5 AI Gateway、治理与可观测性](/12.LLM Infra与生产系统/)
    • [5.AI Gateway、治理与可观测性](/12.LLM Infra与生产系统/5.AI Gateway、治理与可观测性/5.AI Gateway、治理与可观测性.md "5.AI Gateway、治理与可观测性")
• 13.多模态大模型与VLM
  • 13.1 多模态大模型与VLM基础
    • 1.多模态大模型与VLM概览
    • 2.VLM架构、训练与数据工程
    • 3.文档智能、多模态RAG与结构化抽取
    • 4.视频、音频与Omni多模态
    • [6.VLM工程部署、GUI Agent与VLA](/13.多模态大模型与VLM/6.VLM工程部署、GUI Agent与VLA/6.VLM工程部署、GUI Agent与VLA.md "6.VLM工程部署、GUI Agent与VLA")
• 14.DeepSeek系列精读
  • 14.1 DeepSeek系列精读
    • 1.DeepSeek系列总览：从DeepSeekMath到V3与R1
    • 2.DeepSeek-V3精读：MLA、DeepSeekMoE、MTP与训练效率
    • 3.DeepSeek-R1精读：GRPO、R1-Zero、冷启动与多阶段RL
    • 4.DeepSeek-Janus精读：多模态理解与生成解耦
• [15.世界模型与Physical AI](/15.世界模型与Physical AI/)
  • [15.1 世界模型基础](/15.世界模型与Physical AI/)
    • [1.世界模型概览：从环境动力学到内部模拟器](/15.世界模型与Physical AI/1.世界模型概览：从环境动力学到内部模拟器/1.世界模型概览：从环境动力学到内部模拟器.md "1.世界模型概览：从环境动力学到内部模拟器")
    • [2.经典世界模型与Dreamer：在想象中学习策略](/15.世界模型与Physical AI/2.经典世界模型与Dreamer：在想象中学习策略/2.经典世界模型与Dreamer：在想象中学习策略.md "2.经典世界模型与Dreamer：在想象中学习策略")
    • [3.JEPA与潜空间预测：不生成像素也能理解物理世界](/15.世界模型与Physical AI/3.JEPA与潜空间预测：不生成像素也能理解物理世界/3.JEPA与潜空间预测：不生成像素也能理解物理世界.md "3.JEPA与潜空间预测：不生成像素也能理解物理世界")
    • [4.生成式世界模型：Genie、Cosmos与可交互视频](/15.世界模型与Physical AI/4.生成式世界模型：Genie、Cosmos与可交互视频/4.生成式世界模型：Genie、Cosmos与可交互视频.md "4.生成式世界模型：Genie、Cosmos与可交互视频")
• 99.参考资料
  • 2024-2026 新增资料索引