Рецензия: «Архитектура безопасного ИИ» Гарика Давтяна

Дочитал «Архитектуру безопасного ИИ» Гарика Давтяна — и это первая русскоязычная книга по AI security, после которой у меня не осталось ощущения «ну, это все и так знают».

Почему это важно

Скорость, с которой компании внедряют ИИ, давно обогнала скорость, с которой они учатся управлять его рисками. У большинства нет даже реестра своих ИИ-систем, не говоря уже о понятной модели ответственности между разработчиком, оператором и пользователем.

Что зацепило больше всего

Глава про угрозы LLM-приложениям и автономным агентам — то, ради чего стоит прочитать всю книгу. Автор объясняет prompt injection не как «ещё одну уязвимость», а как следствие самой архитектуры трансформеров: модель не различает инструкцию и данные на уровне механизма, и поэтому у этой проблемы пока нет решения, аналогичного параметризованным SQL-запросам. Все существующие защиты — это эвристики, а не гарантии. Звучит просто, но переворачивает то, как думаешь о «защищённости» ИИ-продукта.

Отдельно понравился разбор автономных агентов через пять точек уязвимости: восприятие, рассуждение, оркестрация, память, инструменты. Это рабочая модель, которую реально можно взять и применить к своей системе, а не абстрактная схема для презентации.

И низкий поклон за практическую часть: программа внедрения на 90/180/365 дней и готовые шаблоны — реестр ИИ-систем, политика допустимого применения, чек-лист состязательного тестирования. Это ровно то, чего не хватает 90% материалов на эту тему: они объясняют «что не так», но не дают «с чего начать в понедельник».

Книга опирается на реальные источники — EU AI Act, ISO/IEC 42001, OWASP Top 10 for LLM, реальные судебные кейсы (привет, Air Canada и её чат-бот) — а не на общие рассуждения о том, что «ИИ это будущее».

Из мелкого

В паре примеров с агентами чувствуется, что материал собирался чуть раньше выхода книги — индустрия здесь в принципе меняется настолько быстро, что любой текст рискует чуть отстать уже на этапе вёрстки. Но на общую ценность книги это не влияет — принципы, которые она описывает, живут дольше, чем конкретные примеры.

Автор и сам это признаёт: чтобы частично закрыть разрыв между книгой и быстро меняющейся практикой, он отдельно сделал интерактивную архитектуру, которая обновляется быстрее книги.

Если у вас в компании ИИ уже используется, а внятного governance вокруг него ещё нет — это тот редкий случай, когда книга реально экономит месяцы проб и ошибок.