LLM & Agent 面试指南

大模型算法工程师 & Agent开发工程师 面试准备完全指南

本仓库整理了 200+ 大模型（LLM）和 Agent 相关的面试题目，涵盖基础理论、工程实践、系统设计等多个维度，适用于字节跳动、阿里、腾讯、百度等大厂的大模型岗位面试准备。

目录结构

LLM-Interview-Guide/
├── README.md                           # 本文件
├── docs/
│   ├── 01-transformer-architecture.md  # Transformer架构详解
│   ├── 02-llm-training.md              # LLM预训练技术
│   ├── 03-fine-tuning.md               # 微调技术详解
│   ├── 04-rag.md                       # RAG系统详解
│   ├── 05-agent.md                     # Agent系统详解
│   ├── 06-inference-optimization.md    # 推理优化技术
│   └── 07-hot-topics.md                # 近期热点话题
└── code-examples/
    ├── attention.py                    # Attention实现
    ├── lora.py                         # LoRA实现
    ├── rag_pipeline.py                 # RAG流程实现
    └── agent_react.py                  # ReAct Agent实现

快速导航

主题	难度	题目数量	链接
Transformer架构	⭐⭐⭐	35+	查看
LLM预训练	⭐⭐⭐⭐	20+	查看
微调技术	⭐⭐⭐	30+	查看
RAG系统	⭐⭐⭐	35+	查看
Agent系统	⭐⭐⭐⭐	40+	查看
推理优化	⭐⭐⭐⭐	25+	查看
热点话题	⭐⭐⭐⭐⭐	20+	查看

核心知识图谱

                                    ┌─────────────────┐
                                    │   LLM 面试知识   │
                                    └────────┬────────┘
                                             │
            ┌────────────────────────────────┼────────────────────────────────┐
            │                                │                                │
            ▼                                ▼                                ▼
    ┌───────────────┐                ┌───────────────┐                ┌───────────────┐
    │   基础理论     │                │   工程实践     │                │   系统设计     │
    └───────┬───────┘                └───────┬───────┘                └───────┬───────┘
            │                                │                                │
    ┌───────┴───────┐                ┌───────┴───────┐                ┌───────┴───────┐
    │ • Transformer │                │ • 微调技术     │                │ • RAG系统     │
    │ • Attention   │                │ • 推理优化     │                │ • Agent系统   │
    │ • 位置编码    │                │ • 量化部署     │                │ • 多Agent     │
    │ • 预训练      │                │ • 分布式训练   │                │ • 工具调用    │
    └───────────────┘                └───────────────┘                └───────────────┘

高频考点 Top 20

基础理论

1. Self-Attention的计算过程和复杂度分析
2. Multi-Head Attention vs MQA vs GQA vs MLA
3. 位置编码：绝对位置 vs 相对位置 vs RoPE
4. Layer Normalization vs RMSNorm
5. 为什么Transformer比RNN更适合并行训练

微调与对齐

6. LoRA的原理及为什么有效
7. 全量微调 vs PEFT的选择
8. RLHF vs DPO vs GRPO
9. 灾难性遗忘的解决方案
10. SFT数据质量的重要性

RAG系统

11. RAG vs Fine-tuning的选择
12. Chunking策略和最佳实践
13. 向量检索 vs 关键词检索 vs 混合检索
14. Re-ranking的作用和实现
15. RAG系统评估方法

Agent系统

16. ReAct框架原理
17. Function Calling实现机制
18. MCP协议详解
19. Agent记忆系统设计
20. Multi-Agent协作模式

面试准备建议

1. 理论基础 (1-2周)

• 深入理解Transformer架构
• 掌握注意力机制的数学原理
• 了解主流LLM的架构差异

2. 工程实践 (1-2周)

• 动手实现LoRA微调
• 部署和优化推理服务
• 构建简单的RAG系统

3. 系统设计 (1周)

• 设计完整的Agent系统
• 理解分布式训练架构
• 掌握常见的优化技巧

4. 热点追踪 (持续)

• 关注DeepSeek、OpenAI等最新进展
• 了解MCP、MoE等新技术
• 阅读重要论文

推荐资源

论文

• Attention Is All You Need - Transformer原始论文
• LoRA - 低秩适应微调
• RAG - 检索增强生成
• ReAct - 推理与行动框架
• DPO - 直接偏好优化

课程

• Stanford CS224N - NLP with Deep Learning
• DeepLearning.AI - LLM相关课程
• Hugging Face Course - Transformers实战

开源项目

• LLaMA
• vLLM
• LangChain
• LlamaIndex

贡献指南

欢迎提交 PR 贡献新的面试题目或改进现有内容！

1. Fork 本仓库
2. 创建特性分支 (git checkout -b feature/new-questions)
3. 提交更改 (git commit -m 'Add new questions about xxx')
4. 推送到分支 (git push origin feature/new-questions)
5. 创建 Pull Request

License

MIT License - 详见 LICENSE 文件

Star History

如果这个项目对你有帮助，欢迎 Star ⭐

---

持续更新中... 最后更新: 2026年2月