Не всегда мне хочется читать что-то сложное и глубокое. Иногда приходит черёд простой и приятной концептуальщины, которая даже ближе к научпопу, чем к серьёзной литературе (что отнюдь не умаляет полезности подобных книг).
В фундаменте работы современного AI я уже разобрался, и довольно основательно — несколько интересных книг, курсы и так далее. Но в моём арсенале инструментов остался незакрытый пробел: нет ничего, что помогло бы объяснить «на пальцах» тему устройства AI людям, которые не погружены в сложную математику и даже IT в целом. А иногда такие задачи возникают.
Поэтому я и взял почитать книгу «Внутри AI. Как это работает».
О чём книга
Книга в общих чертах рассказывает о том, как появился и устроен современный AI: от истории возникновения и исследований до базовых принципов работы.
В книге раскрываются следующие темы:
- Путь появления современных генеративных моделей.
- Дорожка от классических моделей до LLM.
- Почему LLM появились только сейчас, хотя математическая база была готова уже давно.
- При чём тут видеокарты и почему они теперь такие дорогие.
Три идеи из книги
- Данные — это всё. Хорошие данные приводят к появлению хороших моделей, плохие данные приводят к плохим моделям. Модели умеют экстраполировать, переобучаться и делать ещё много всяких интересных вещей, опираясь на входной датасет. Поэтому первое, с чем нужно качественно работать, — это базовые данные для обучения.
- Одна из самых весёлых проблем в обучении модели — это переобучение. Оно заключается в том, что моделька выявляет некоторые паттерны в датасете, привязывается к ним и начинает на их основе работать. Например, если в датасете есть только фото, сделанные в солнечную погоду, то модель может с треском провалиться на фотках пасмурных дней. Решается эта проблема более разносторонними датасетами.
- Любая модель — это чистая математика. Сами по себе модели зачастую даже не «понимают», с чем они работают, потому что внутри всё сводится к числам: весам, смещениям, вероятностям и так далее. Даже современные LLM на самом деле просто предсказывают появление следующего токена (это довольно сложный процесс, но «мышления» там нет).
Мои впечатления
Книга мне очень понравилась. Не стоит её воспринимать как «образовательное» чтиво — это скорее хороший научпоп, который даст поверхностное представление об устройстве машинного обучения и LLM без погружения в дебри математики.
Я бы рекомендовал почитать эту книжку в двух случаях:
- вы устали и хотите отдохнуть с чем-то лёгким и приятным;
- вы вообще ни в зуб ногой в устройстве современного ML и хотите начать с чего-то простого.
Если же вы уже строите агентные системы на рабочих или даже пет-проектах, то книга вряд ли расскажет вам много нового. Но если вы используете условный клодкод и не понимаете, как оно работает «под капотом», — книга «Внутри AI. Как это работает» станет хорошей отправной точкой.