Agent_Notes 是一个综合性的 AI 学习与应用工程项目,旨在将大模型底层原理探索与前沿全栈工程实践相结合。项目采用双线并行的结构,不断跟踪最新的 AI 技术发展。
- LLM/ - 大模型底层架构与原理复现
llama3-from-scratch/: 从零推演 Llama 3 核心算子的学习笔记。minbpe/: Byte Pair Encoding (BPE) 分词器的极简实现。moe-from-scratch/: [计划中] 混合专家模型 (MoE) 与 MLA 架构剖析。vision-transformer-from-scratch/: [计划中] 视觉多模态底层架构 (ViT/CLIP) 原理探索。
- VibeCoding/ - 大模型全栈应用与工程实践
- 一个基于 DeepSeek API 的类 ChatGPT 问答系统,支持流式输出和推理过程可视化。
- 采用 FastAPI + React 现代前后端分离架构。
- [演进路线] 计划引入 Agent 工具链调用 (Tool Calling)、RAG 知识库问答以及多模态 (视觉/语音) 交互。
本项目的未来演进计划详见:.trae/documents/agent_notes_future_maintenance_plan.md
- VibeCoding: 实现后端 Agent 循环,引入 Function Calling,赋予系统使用外部工具的能力。
- LLM: 拆解 DeepSeek-V3 的核心创新,复现 MoE 稀疏激活机制。
- VibeCoding: 接入向量数据库,实现基于文档解析的 RAG 检索增强生成,建立个人专属知识库。
- VibeCoding: 在前端增加图像/语音输入支持,后端对接 VLM(视觉语言模型)与 ASR/TTS 模型。
- LLM: 从零推演 ViT 图像 Patch 化和特征对齐的数学逻辑。
MIT License