README.ru.md

     

Learning LLM is all you need.

中文 | English | Русский

👉 Перейти на LearnLLM.AI | Изучайте LLM, начав отсюда

Русская карта материалов: docs/ru

Ключевые преимущества LearnLLM.AI

Подборка вопросов для собеседований по LLM: практические задачи от базовых тем до передовых направлений, которые помогают готовиться к поиску работы и использовать карьерные возможности;

Системное чтение научных статей: от основополагающей статьи Transformer 2017 года до дальнейшей эволюции технологий, разложенной по понятной структуре для разработчиков с разным уровнем подготовки.

Специальный промокод

Для пользователей GitHub действует временный промокод: GITHUB50. Будем рады продолжить обучение вместе с вами на LearnLLM.AI!

Видео-уроки (постоянно обновляются):

👉 Смотреть на bilibili

👉 Смотреть на YouTube

Если у вас есть вопросы, свяжитесь с нами в любое время.

Happy Learning!

Команда LearnLLM.AI

---

Избранные статьи по LLM

Время	Статья	Описание	Видео	Начать обучение
2017-06-12	Transformer	Самовнимание и архитектура Transformer
2018-06-11	GPT-1	Генеративный Transformer: предварительное обучение + тонкая настройка
2018-10-11	BERT	Двунаправленный encoder: MLM + NSP
2019-02-14	GPT-2	Масштабная безнадзорная генерация текста
2019-10-23	T5	Единый подход text-to-text
2020-05-28	GPT-3	Большие модели и способность к few-shot learning
2020-10	ViT	Перенос Transformer-магистрали в компьютерное зрение
2021-02	ViLT	Минималистичная архитектура визуально-языкового pretraining
2021-02	CLIP	Zero-shot визуальное обучение с надзором естественного языка
2021-02	DALL·E 1	Начало авторегрессионной генерации изображений по тексту
2021-07-07	CodeX	GPT-модель для генерации кода
2021-12	Stable Diffusion	Latent diffusion и открытая экосистема text-to-image
2022-02-08	AlphaCode	Система генерации кода соревновательного уровня
2022-03-04	InstructGPT	Выравнивание по человеческой обратной связи и instruction tuning
2022-04	DALL·E 2	Высокоточная генерация изображений на основе CLIP Latents
2022-12	Whisper	Базовая модель распознавания речи с масштабным слабым надзором
2023-02-27	LLaMA-1	Эффективная открытая базовая pretraining-модель
2023-04	LLaVA	Важная отправная точка для открытого мультимодального instruction tuning
2023-07-18	LLaMA-2	Обновление LLaMA с разрешением на коммерческое использование
2023-08	Qwen-VL	Ранняя визуально-языковая базовая модель Qwen
2023-09-28	Qwen 1	Первое поколение базовой модели Qwen
2023-10-10	Mistral 7B	Эффективная открытая модель класса 7B
2023-12	LVM	Направление больших визуальных моделей с чистым визуальным авторегрессионным моделированием
2024-02	Mixtral 8x7B	Знаковая открытая sparse MoE-модель
2024-03	Gemma 1	Первый выпуск легкого открытого семейства моделей Google
2024-05	DeepSeek-V2	Эффективная MoE-языковая модель с балансом качества и стоимости инференса
2024-06	ChatGLM	Китайское семейство моделей от GLM-130B до GLM-4
2024-07	Llama 3	Новое поколение открытых флагманских моделей Meta
2024-07	Gemma 2	Дальнейшее улучшение качества открытых моделей практичных размеров
2025-03	Gemma 3	Нативная мультимодальность и контекст 128K в Gemma
Продолжение следует...

Развернуть/свернуть

Путь к AGI

Развернуть/свернуть

Содержание

• 🐳Пролог: путь к AGI
• 🐱Глава 1: Pre-Training LLM
  • 🐼Архитектура
  • 🐹Оптимизаторы
  • 🐰Функции активации
  • 🐭Attention
  • 🐯Позиционное кодирование
  • 🐨Tokenizer
  • 🐻Стратегии параллелизма
  • 🐷Фреймворки обучения LLM
• 🐶Глава 2: Развертывание и инференс LLM
• 🐯Глава 3: Тонкая настройка LLM
• 🐻Глава 4: Квантизация LLM
• 🐼Глава 5: GPU и параллелизм для LLM
• 🐨Глава 6: Prompt Engineering
• 🦁Глава 7: Agent
  • 🐷RAG
• 🐘Глава 8: Корпоративное внедрение LLM
• 🐰Глава 9: Метрики оценки LLM
• 🐷Глава 10: Актуальные темы
• 🦁Глава 11: Математика

Пролог: путь к AGI

⬆ Вернуться к содержанию

Годовые обзоры статей по LLM

2017: появился Transformer, и все началось отсюда

2018: GPT и BERT, pretraining расходится на два направления

2019: модели становятся больше, GPT-2 и T5

2020: пришел GPT-3, что дали 175 миллиардов параметров

2021: не только текст, CLIP учит модели видеть изображения

2022: модели становятся послушнее, InstructGPT и RLHF

2023: после выхода LLaMA открытые модели начали догонять

2024: открытые модели заново считают стоимость обучения и инференса

Что такое Scaling Law, о котором все говорят

Эмерджентность интеллекта и истоки AGI

Что такое perplexity

Pre-Training Llama-3.1 405B: сколько вычислительных ресурсов нужно?

Глава 1: Pre-Training LLM

⬆ Вернуться к содержанию

Архитектура

За 10 минут: почему в Transformer используется LayerNorm, а не BatchNorm

Разбор MoE, mixture of experts, фрагмент

Самый простой способ понять Mamba, перевод на китайский

За 10 минут: что такое мультимодальная LLM

Оптимизаторы

Самый полный обзор optimizer для нейросетей

Оптимизаторы нейросетей (1): обзор

Оптимизаторы нейросетей (2): SGD

Оптимизаторы нейросетей (3): Momentum

Оптимизаторы нейросетей (4): ASGD

Оптимизаторы нейросетей (5): Rprop

Оптимизаторы нейросетей (6): AdaGrad

Оптимизаторы нейросетей (7): AdaDeleta

Оптимизаторы нейросетей (8): RMSprop

Оптимизаторы нейросетей (9): Adam

Оптимизаторы нейросетей (10): Nadam

Оптимизаторы нейросетей (11): AdamW

Оптимизаторы нейросетей (12): RAdam

Функции активации

Почему большие языковые модели используют SwiGLU как функцию активации

Функции активации нейросетей (1): обзор

Функции активации нейросетей (2): Sigmiod, Softmax и Tanh

Функции активации нейросетей (3): ReLU и ее варианты

Функции активации нейросетей (4): ELU и ее вариант SELU

Функции активации нейросетей (5): семейство gating, GLU, Swish и SwiGLU

Функции активации нейросетей (6): GELU и Mish

Attention

Какая математика нужна, чтобы понять FlashAttention: последняя задача китайского экзамена gaokao

Что изменилось во FlashAttention v2 по сравнению с v1

Почему появились Multi-Query-Attention и Group-Query-Attention

Технология MLA в серии DeepSeek

Позиционное кодирование

Что такое Position-Encoding в LLM

Применение комплексного анализа в позиционном кодировании LLM

Самая красивая математическая формула: формула Эйлера

От красоты формулы Эйлера к RoPE

Tokenizer

Самый полный обзор Tokenizer для LLM

Разбираемся с Tokenizer в LLM (1)

Разбираемся с Tokenizer в LLM (2)

Разбираемся с Tokenizer в LLM (3)

Разбираемся с Tokenizer в LLM (4)

Разбираемся с Tokenizer в LLM (5)

Разбираемся с Tokenizer в LLM (6)

Стратегии параллелизма

Стратегии параллелизма для LLM, перевод на китайский

Технологии распределенного обучения LLM (1): обзор

Технологии распределенного обучения LLM (2): data parallelism

Технологии распределенного обучения LLM (3): pipeline parallelism

Технологии распределенного обучения LLM (4): tensor parallelism

Технологии распределенного обучения LLM (5): hybrid parallelism

Фреймворки обучения LLM

Фреймворки обучения LLM (1): обзор

Фреймворки обучения LLM (2): FSDP

Фреймворки обучения LLM (3): DeepSpeed

Фреймворки обучения LLM (4): Megatron-LM

Фреймворки обучения LLM (5): Accelerate

Глава 2: Развертывание и инференс LLM

⬆ Вернуться к содержанию

За 10 минут: приватное развертывание LLM локально

Развертывание модели без посторонней помощи: формулы оценки производительности от TTFT до Throughput

Почему output-token в LLM дороже input-token

Как оценивать скорость вывода LLM: чем задержка первого Token отличается от задержки остальных Token

Чем отличаются latency и throughput у LLM

Как vLLM использует PagedAttention для простого, быстрого и дешевого обслуживания LLM, перевод на китайский

DevOps, AIOps, MLOps, LLMOps: что означают все эти Ops

Фреймворки инференса LLM (1): обзор

Фреймворки инференса LLM (2): vLLM

Фреймворки инференса LLM (3): Text generation inference (TGI)

Фреймворки инференса LLM (4): TensorRT-LLM

Фреймворки инференса LLM (5): Ollama

Глава 3: Тонкая настройка LLM

⬆ Вернуться к содержанию

За 10 минут: собираем приложение поверх Llama-3, подходит новичкам

Parameter-efficient fine-tuning (PEFT), LoRA и другие подходы

Soft prompts для fine-tuning LLM (1): обзор

Soft prompts для fine-tuning LLM (2): Prompt Tuning

Soft prompts для fine-tuning LLM (3): Prefix-Tuning

Soft prompts для fine-tuning LLM (4): P-Tuning

Soft prompts для fine-tuning LLM (5): Multitask prompt tuning

Adapters для fine-tuning LLM (1): обзор

Adapters для fine-tuning LLM (2): LoRA

Adapters для fine-tuning LLM (3): QLoRA

Adapters для fine-tuning LLM (4): AdaLoRA

Фреймворки fine-tuning LLM (1): обзор

Фреймворки fine-tuning LLM (2): Huggingface-PEFT

Фреймворки fine-tuning LLM (3): Llama-Factory

Глава 4: Квантизация LLM

⬆ Вернуться к содержанию

За 10 минут: что такое квантизация LLM

Три уровня понимания квантизации LLM

Глава 5: GPU и параллелизм для LLM

⬆ Вернуться к содержанию

Знания о GPU эпохи AGI, понятные каждому

Чем GPU-параллелизм в архитектуре Transformer отличается от прежних NLP-алгоритмов

Три фактора развертывания LLM: видеопамять, вычисления и коммуникации

Глава 6: Prompt Engineering

⬆ Вернуться к содержанию

Может ли прошедшее время взломать LLM? Безопасность LLM и противодействие атакам

Большой разбор Prompt Engineering: раскрываем силу LLM

CoT, ToT, GoT: что это такое

Глава 7: Agent

⬆ Вернуться к содержанию

Как проектировать архитектуру агента: ориентироваться на OpenAI или Anthropic?

MCP: базовые понятия, быстрый старт и принципы работы

Руководство по внедрению LLM-приложений: типы приложений (1)

Внедрение LLM-приложений: проектирование архитектуры (2)

Внедрение LLM-приложений: Text-2-SQL (3)

Разрабатывать LLM или использовать LLM

Парадигмы проектирования Agent и распространенные фреймворки

langchain налево, coze направо

RAG

Векторные базы данных встречают LLM

RAG-архитектура с Knowledge Graph

GraphRAG: раскрываем способность LLM искать по повествовательным приватным данным, перевод на китайский

Практическое руководство по внедрению enterprise RAG

За 10 минут: как устроен мультимодальный RAG

Глава 8: Корпоративное внедрение LLM

⬆ Вернуться к содержанию

Конец CRUD-ETL-инженеров: от NL2SQL до ChatBI

Сложности внедрения LLM: hallucination

Сложности внедрения LLM: неопределенность вывода

Сложности внедрения LLM: структурированный вывод

Новые рабочие роли вокруг LLM-приложений: Red-teaming

Проблема повторений в LLM

Глава 9: Метрики оценки LLM

Какие метрики оценки есть у LLM?

Оценка производительности LLM: Needle In A Haystack

Метрики оценки: тест LLM на подсчет звезд

Глава 10: Актуальные темы

⬆ Вернуться к содержанию

Llama 3.1 405B: почему она такая большая?

9.11 больше 9.9? Почему LLM снова ошиблась?

Южнокорейский инцидент Nth Room возродился из-за Deep Fake: технология и способы противодействия

Как я сдал продвинутый экзамен по системной архитектуре во второй половине 2022 года

Как решить проблему выбора еды с помощью Exploit and Explore

Глава 11: Математика

⬆ Вернуться к содержанию

Линейная алгебра

Математика для AI и LLM с нуля: линейная алгебра (1)

Математика для AI и LLM с нуля: линейная алгебра (2)

Математика для AI и LLM с нуля: линейная алгебра (3)

Математический анализ

Математика для AI и LLM с нуля: математический анализ (1)

Математика для AI и LLM с нуля: математический анализ (2)

Теория вероятностей и статистика

Математика для AI и LLM с нуля: теория вероятностей и статистика (1), теорема Байеса и распределения

Математика для AI и LLM с нуля: теория вероятностей и статистика (2), способы описания распределений

Математика для AI и LLM с нуля: теория вероятностей и статистика (3), центральная предельная теорема

---

🌐 Перейти на LearnLLM.AI | Изучайте LLM, начав отсюда