Применение ИИ для контроля качества кода
LLM – это инструмент, усиливающий профессиональные компетенции. Если вы работаете с кодом, проверяете pull-request'ы и анализируете логи, языковая модель может стать продолжением вашей экспертизы, но лишь при условии, что вы понимаете принципы взаимодействия с ней. На курсе мы продемонстрируем разницу между запросом «ChatGPT, найди ошибку» и структурированным промптом, который обеспечивает более точный и воспроизводимый результат.
В рамках однодневного интенсива участники интегрируют LLM в рабочий процесс. Вы настроите автоматические проверки через git-hooks на локальной машине и запустите LLM-анализ в GitLab Pipeline. Программа охватывает весь цикл: от выбора подходящей модели до настройки промптов для конкретных задач – проверки кода, тестирования, анализа результатов сборки. Участники научатся определять, какие данные следует передавать модели для получения полезных выводов без риска некорректных интерпретаций.
Курс предназначен для специалистов, которые готовы перейти от точечного использования LLM к их системной интеграции в процессы разработки и обеспечения качества.
Для кого этот курс
- Разработчики и руководители команд разработки (backend, frontend, full-stack), которые планируют внедрить LLM в процессы проверки кода, создания тестов и управления техническим долгом
- Инженеры по тестированию и автоматизации, заинтересованные в применении LLM для генерации тест-кейсов, анализа логов и выявления уязвимых участков системы
- DevOps-инженеры, стремящиеся интегрировать языковые модели в процессы сборки и развертывания без рисков для конфиденциальности кода
- Техлиды и архитекторы, выстраивающие стратегию обеспечения качества и ищущие способы внедрения LLM так, чтобы технология дополняла компетенции специалистов, а не заменяла их
- Специалисты, имеющие опыт работы с LLM, которые хотят перейти от разовых экспериментов к системной интеграции моделей в действующие процессы непрерывной разработки и доставки
Программа
- Базовое понимание LLM
– Теория LLM
– Как устроены GPT и LLM в общем виде
– Чем LLM отличаются от классических алгоритмов
– Контекст в работе моделей
– Понятие контекста и окна контекста
– Влияние формулировки задачи на результат
– Демонстрация качества промптов
– Примеры «плохих» промптов
– Примеры структурированных промптов
– Разбор влияния качества промпта на вывод
– Контекст: QA и качество ПО – Основы QA – Роль QA в жизненном цикле ПО – Типичные артефакты и процессы – Атрибуты качества ПО – Надежность – Производительность – Сопровождаемость – Тестопригодность и другие – Технический долг – Понятие технического долга – Влияние долга на качество и скорость разработки – Связь техдолга, QA и зон применения LLM
– Роль LLM в процессе разработки – Зоны применения LLM – Генерация тестов – Ревью кода – Анализ логов – Поддержка документации – Ограничения и риски – Качество и проверяемость ответов – Приватность и безопасность кода – Дискуссия – Какие задачи участники готовы делегировать LLM – Где LLM добавляют риск и шум
– Интеграция LLM в среду разработчика – Разбор среды разработчика – VCS, IDE, тесты, CI/CD – Типичный путь изменений от коммита до деплоя – Точки встраивания LLM – Локальные инструменты и плагины – Проверки перед коммитом – Анализ MR/PR – Модель пайплайна – Схематизация пайплайна разработки – Маркировка LLM-«врезок»
– Практика: локальная интеграция – LLM в git-hooks – Выбор задач (проверка кода, сообщений коммитов и др.) – Настройка и запуск локальных проверок – Подбор моделей и промптов (локально) – Выбор типа модели под сценарий – Отладка промптов под задачи QA/ревью
– Практика: интеграция в CI/CD – LLM в GitLab Pipeline – Архитектура включения LLM в пайплайн – Формат входных и выходных данных – Подбор моделей и промптов (CI) – Промпты для анализа результатов сборки и тестов – Промпты для анализа изменений в коде
– Завершение и оценка – Обсуждение результатов – Что получилось в практической части – Какие сценарии участники считают полезными – Рефлексия и дальнейшие шаги – Индивидуальные планы на 1–2 недели – Вопросы и рекомендации по дальнейшему изучению
Что вы получите
- Вы получите готовые промпты и сценарии интеграции, которые можно применить в работе сразу после курса, без месяцев экспериментов и подбора формулировок
- Вы освоите практическую интеграцию LLM в процесс разработки: от локальных проверок через git-hooks до автоматизации анализа в GitLab Pipeline
- Вы поймете, какие артефакты (код, диффы, логи, результаты тестов) стоит передавать модели и как оценивать корректность и практическую ценность ее выводов
- Вы научитесь составлять промпты под задачи обеспечения качества (ревью изменений, генерация тестов, анализ логов) так, чтобы результаты были проверяемыми и воспроизводимыми
- Вы сможете выстроить собственную систему контроля качества на базе LLM, включающую набор проверок, правила интерпретации результатов и точки запуска в процессе разработки
- Вы разберетесь в ограничениях и рисках языковых моделей (ошибки, галлюцинации, ложные срабатывания) и освоите методы их контроля для минимизации шума в рабочих процессах
Тренер
Александр Лучков
Руководит программой «Девопс инженер» в МГТУ им. Баумана на цифровой кафедре и преподает системную инженерию, разработку системной архитектуры и языки моделирования и управление требованиями в РТУ МИРЭА (институт искусственного интеллекта).