上海交通大学本科在读，主要关注 NLP、LLM 训练与推理、Agent 系统。目前以课程复现、源码阅读和小型实验为主，持续把模型原理落实为可运行、可测试、可复现的代码。
联系我：icy_wcz@sjtu.edu.cn · GitHub
- 沿着 Stanford CS336 学习语言模型：Tokenizer、Transformer、训练工具、FlashAttention、DDP/FSDP，以及参数和优化器状态分片。
- 从零实现并比较 Simple、ReAct、Plan-and-Solve、Reflection、Tree-of-Thought 等 Agent 范式，研究上下文工程、记忆、工具调用和离线评测。
- 构建 Agent Harness 原型，覆盖多轮会话、事件持久化、上下文压缩、后台任务、MCP 接入、Subagent/Teammate 协作和可视化。
- 持续完善 RAG 的检索、拒答、批量评测、日志和 badcase 分析，并实践云服务器上的训练与部署。
- Myllm：完成 CS336 Assignment 1 的主要基础模块与实验记录，正在补充 Chinchilla / IsoFLOPs 缩放律分析，并推进 FlashAttention 与分布式训练。
- Myagent：整理多种 Agent 范式、记忆模块和 Pipeline 评测，尝试将示例代码沉淀为可比较的实验。
- Coding-Agent：加入会话事件存储与恢复、上下文管理、后台任务、Agent 协作和可视化观察面板。
- Argus：探索研究型 Agent 的职责分离、证据审查和长期运行机制。
- Myllm · DIY LLM / CS336 学习仓库
从 BPE Tokenizer、Linear/Embedding/RMSNorm/RoPE、因果注意力和 Transformer，到交叉熵、AdamW、学习率调度与 Checkpoint；同时记录缩放律、FlashAttention、数据并行和参数分片实验。
- Myagent · 从零学习构建 LLM Agent
实现并对比多种 Agent 范式，加入上下文预算管理、工作/情景/语义记忆、工具执行和 Pipeline 评测，关注通过率、耗时、工具调用次数与幻觉表现。 - Coding-Agent · Agent Harness 原型
面向大模型应用的运行时，包含多轮对话、工具与 MCP、Session JSONL 持久化、上下文压缩、错误恢复、Cron 后台任务、Subagent/Teammate、Git Worktree 隔离，以及 Textual/React 可视化界面。 - Argus · 长时间运行的研究与工程 Agent
关注 Manager → Planner → Engineer ⇄ Reviewer 的职责分离、证据驱动的实验审查、可暂停/恢复的长期任务，以及 Agent 在研究工作流中的持续改进。
- nlp-exercises · 从中文分词、RNN/LSTM、Seq2Seq+Attention、Transformer，到类 LLaMA2 组件（RMSNorm / RoPE / GQA / KV Cache）的逐步实现。
- RAG · 基于推免政策文档的领域问答系统，支持向量检索、BM25+向量混合检索（RRF）、拒答、批量评估、指标统计与 badcase 分析。
- deep_learning-tutorial · 使用 PyTorch 学习张量、自动求导、训练流程、CNN、RNN、MNIST 与文本生成。
- cppAlgorithm · 用 C++ 持续练习数据结构与算法。
Python · C++ · PyTorch · Transformers · Datasets · Tokenizers · PEFT
NumPy · pandas · matplotlib · Jupyter · uv · conda · MySQL
正在实践：GPU 训练、分布式训练、模型推理服务，以及 RAG/Agent 的部署与评测工程。
- 完成 CS336 系统部分的 FlashAttention、DDP/FSDP 与 Sharded Optimizer 实现和基准。
- 建立统一的 LLM 推理评测脚本，比较 Temperature、Top-k、Top-p 等生成策略并记录消融实验。
- 将 Agent 的记忆、工具和 Pipeline 评测连接起来，形成稳定的能力与幻觉测试集。
- 完善 RAG badcase 分类报告，补充检索质量、拒答质量和端到端回答质量指标。
- 实践云服务器上的训练与服务化部署，记录显存、耗时和成本。
LLM inference · LLM training & alignment · RAG · Agent systems · ML systems
欢迎交流学习、复现与工程实践。