Original Summary

An experimental causal language model series built entirely from scratch in PyTorch — from a 6.84M CPU prototype to a 500M parameter dense LLM featuring GQA, RoPE, SwiGLU, RMSNorm, and SFT alignment.

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：GitHub · AI 新项目
  • 发布时间：2026/10/13 17:08:15