Как обучить свой собственный ChatGPT

Они изображают это так, как будто мы находимся всего в нескольких кликах от создания собственной искусственной интеллектуальной системы. Достаточно открыть YouTube или прочитать технологический блог, чтобы быть засыпанными объявлениями о том, как обучить свою собственную ИИ всего за несколько минут. Здесь ChatGPT, там Gemini, или Claude от Anthropic может отвечать на вопросы лучше, чем любой помощник конкурентов. Кажется, что ИИ доступна всем, но насколько это соответствует действительности?

За этими искусственными интеллектами скрывается реальность, которую мало кто знает. Создание модели ИИ, такой как ChatGPT или LLaMA от Meta, не является задачей, которую может выполнить кто угодно на своем настольном компьютере или даже на среднем сервере. История начинается с вопроса: откуда они берут столько информации?

Голодные данные: кража знаний из веб-пространства

Обучение ИИ естественного языка, такой как ChatGPT, не сводится только к получению энциклопедии или содержимого Википедии. Хотя Википедия стала отправной точкой при обсуждении общей информации, в действительности она представляет менее 1% крупных данных, необходимых для обучения этих гигантских нейронных сетей. Так откуда же они получают остальное?

Ответ довольно жестокий: ИИ питается всем веб-пространством. Создатели этих искусственных интеллектов строят роботов или "скреперов", которые перемещаются по интернету как неутомимые пауки, отслеживая, копируя и храня все текстовое содержимое, которое они встречают на своем пути. Статьи новостей, посты в блогах, комментарии в социальных сетях, отзывы о продуктах, даже тексты ваших любимых песен. И они не ограничиваются только текстом. Видео с YouTube преобразуются в текст с помощью алгоритмов распознавания речи, превращая часы визуального контента в строки и еще больше строк обрабатываемой информации.

Результатом этой "голодной данных" является огромный текстовый файл, называемый набором данных. И когда я говорю огромный, я имею в виду тысячи терабайт информации. Набор данных является, по сути, сырьем для обучения искусственного интеллекта. Это как пища, которую потребляет нейронная сеть, и ИИ будет столь же хороша, насколько качественным и объемным будет набор данных, который ее питает.

Что нужно для обучения мирового уровня ИИ?

Хорошо, у нас есть данные, но что еще нужно для обучения искусственного интеллекта такого уровня? Вот тут-то и начинаются сложности. Если вы думали, что современный процессом и несколько дней работы будут достаточно, у меня плохие новости: забудьте об обучении такой сети на вашем настольном компьютере.

Для обучения ИИ обработки естественного языка (NLP) такого уровня, как ChatGPT или LLaMA, требуется тысячи графических карт последнего поколения, таких как GPU A100 от Nvidia. И я не говорю о одной или двух GPU, я говорю о фермах серверов, полных GPU, подключенных параллельно. Каждый GPU способен выполнять это несколько тысяч математических операций в секунду, позволяя ИИ учиться на основе миллионов данных одновременно. CPU не подходит для этих задач; просто нет возможности обрабатывать столько информации параллельно.

Даже с такой вычислительной мощью обучение большой модели может занять недели или месяцы, с огромным расходом электроэнергии и астрономическим счетом в облаке. Для примера, OpenAI потратил миллионы долларов на обучение своих моделей GPT. Так вот, возможно ли для среднего разработчика создать свою собственную ИИ с нуля? Скорее всего, нет.

Какие варианты остаются для "смертных"?

Так кто может обучить ИИ? Реальность такова, что крупные технологические компании, такие как Google, Meta, OpenAI и Microsoft, доминируют в этой области, потому что у них есть необходимые ресурсы. Остальные из нас играют в другую игру: использование предварительно обученных моделей. Эти компании открыли свои модели для использования, настройки и оптимизации другими разработчиками в меньшем масштабе.

На практике это означает, что любой человек с техническими навыками может использовать модель, такую как GPT, для создания персонализированных приложений, не обучая ее с нуля. Это не то же самое, что разработка ИИ с нуля, но позволяет малым предприятиям и предпринимателям воспользоваться этой технологией без запретительных затрат на создание ИИ с нуля.

Иллюзия доступа: почему нам говорят, что любой может создать свою собственную ИИ?

Большая часть рассказа о том, что "любой может создать свою собственную ИИ", основана на маркетинговых стратегиях. Google и OpenAI хотят, чтобы больше разработчиков использовали их инструменты, потому что это увеличивает приемлемость их продуктов и, в конечном итоге, их прибыльность. Если маленький предприниматель создаст приложение, использующее модель GPT от OpenAI, например, этот предприниматель все еще будет платить OpenAI за использование модели. Это экосистема, которая стремится привлечь разработчиков, не для того, чтобы они создавали свою собственную ИИ, а для того, чтобы они присоединились к волне, используя то, что уже существует.

Возможно ли на самом деле создать свою собственную ИИ?

Да и нет. Если мы говорим об обучении с нуля ИИ с таким же уровнем возможностей, как у гигантов технологий, то ответ будет решительным нет для большинства из нас. Стоимость, доступ к данным и необходимая инфраструктура находятся вне досягаемости большинства независимых разработчиков. Однако, если речь идет об использовании предварительно обученных моделей, настройке их и создании приложений, которые используют эту ИИ, то ответ меняется на да.

В конечном итоге, хотя они хотят заставить нас поверить, что мы находимся всего в одном шаге от создания нашей собственной ИИ, правда в том, что истинная власть все еще находится в руках тех, кто контролирует ресурсы: данные и оборудование. Поэтому, прежде чем волноваться о создании "собственной искусственной интеллектуальной системы", задайте себе вопрос, действительно ли у вас есть все необходимое для этого или вы просто будете использовать урезанную версию чего-то, что уже существует.

Пока это все еще игра, которой доминируют гиганты, хотя и с небольшими возможностями для тех, кто хочет исследовать свои возможности.