28 октября 2020

ИИ-писатель, музыкант, программист: что уже умеет делать GPT-3 от OpenAI

В мае 2020 года некоммерческая организация OpenAI представила языковую модель третьего поколения GPT-3, которая с помощью глубокого обучения способна генерировать тексты, похожих на те, что создал человек. Алгоритм умеет писать прозу, стихи, новости, решать головоломки, описывать события и даже писать код.

GPT-3 основана на той же архитектуре, что и ее предшественница GPT-2, однако на этот раз разработчики увеличили количество обучающих параметров до 175 млрд. Для сравнения: вторая по мощности, на сегодняшний день, языковая модель Microsoft Turing NLG насчитывает 17 млрд параметров, что в 10 раз меньше разработки OpenAI.

Для обучения разработчики использовали 570 Гб тестовых данных, а объем готовой модели превышает 700 Гб. По словам представителей OpenAI, алгоритм получился настолько мощный, что в компании пока не готовы открывать публичный доступ к GPT-3. Тем не менее, ограниченное число разработчиков все же получили доступ к API модели, и вот что у них получилось сделать с самой интеллектуальной языковой моделью в мире.

Генератор идей для бизнеса

В сентябре 2020 года Питер Левелс, создатель сервиса для путешествующих фрилансеров Nomad List, представил сервис по генерации бизнес-идей 

IdeasAI, основанный на алгоритме GPT-3. Модель обучалась на примерах успешных стартапов, и в итоге научилась “придумывать” собственные проекты.

Так, искусственный интеллект сгенерировал такие идеи: приложение для планирования покупок, готовки и питания; профессиональный фоторедактор для маркетологов; веб-приложение для доставки спутниковых снимков пользователям; стартап для помощи в поиске дома, квартиры или сожителя напрямую от арендодателя.

Пользователи сервиса могут оценивать идеи, а если кому-то приглянулась идея – разработчик за $99 готов продать ее, убрав из публичного доступа.

Текстовая приключенческая игра

Американская компания Latitude разработала первую в мире текстовую игру AI Dungeon, которая позволяет игроку создавать уникальные миры и сценарии. Для работы с AI Dungeon пользователю необходимо вводить текстовые команды, а искусственный интеллект будет понимать их контекст и адаптировать игровой мир.

Игра создавает полноценные исторические или фантастические миры, прописывать для них правила, создавать игровому персонажу воспоминания, а пользователям – полную свободу действий, которая ограничивается только их фантазией.

Программирование по описанию

Разработчик из Сан-Франциско Шариф Шамим обучил модель на GPT-3 создавать веб-элементы по их текстовому описанию, например: “синяя с текстом ПОДПИСАТЬСЯ”

Позже Шамим создал генератор React-приложений по текстовому описанию Debuild, также созданный на базе GPT-3. Сервис бесплатный, однако, чтобы получить к нему доступ, необходимо заполнить Google форму и ожидать открытия доступа.

Другой пример автоматического написания кода по описанию – совместная разработка Microsoft и OpenAI, которую показали на конференции для разработчиков Build 2020. Для работы алгоритма программисту достаточно только написать комментарий на естественном языке и описать задачи для кода, а искусственный интеллект автоматически сгенерирует его.

Модель обучалась на репозитории GitHub, а демонстрацию алгоритма запускали на самом мощном суперкомпьютере Microsoft.

Написание любых текстов

Главным достижением GPT-3 большинство разработчиков и экспертов называют возможность создавать тексты любой сложности и тематики. Алгоритм может “выучить” стиль автора и писать тексты, неотличимые от авторских. 

Так, Мануэль Аароз, сооснователь и бывший технический директор блокчейн-стартапа OpenZeppelin, получил доступ к GPT-3 и за несколько часов сгенерировал ряд оригинальных текстов, среди которых: описание работы биткоина; одну главу книги на испанском языке и короткую биографию; интервью с самим собой и своей “книге”; генератор рецептов из бессмысленных ингредиентов и другие текстов.

Однако главным достижением предпринимателя является статья “GPT-3 от OpenAI может быть самым важным открытием со времен биткойна”. Примечательно, что статью написал не Аароз, а алгоритм, который сумел изучить стиль автора и по коротким вводным данным написать полноценный материал.

Кроме этого, GPT-3 может писать стихи, эссе, работать как чатбот, а также писать песни с аккордами. Разработчица из OpenAI Аманда Аскел поделилась результатом работы алгоритма, который по названию и исполнителю вымышленной песни сгенерировал полную табулатуру.

Безосновательный хайп или общий ИИ?

Несмотря на колоссальные успехи GPT-3, эксперты не спешат называть алгоритм продвинутым искусственным интеллектом.

Колумнист Forbes Роб Тоуз считает, что алгоритм действительно впечатляет своими возможностями, так как может писать различные тексты, генерировать код и выполнять другие творческие задачи, свойственны лишь людям. Однако он отмечает, что это лишь предсказатель текста. Пользователь дает ему данные на вход, а алгоритм предполагает, как этот текст должен выглядеть.

Модель все еще не способна понимать контекст, значения слов и модель нашего мира, поэтому она ненадежна и способна совершать ошибки, которые человек не допустил бы. Но по мнению обозревателя, это не делает модель плохой. Разработчикам есть еще куда развивать возможности GPT-3.

Журналиста поддержал IT-специалист и глава инвестиционной фирмы Делиан Аспарухов, который считает, что машина не может проверить того, что выдает, а ее работа – это вероятностный результат входных данных.

Критика не осталась без ответа со стороны OpenAI. В компании отмечают, что результаты, которые показывает GPT-3 их радуют, однако ажиотаж вокруг алгоритма слишком силен. По словам главы компании Сэма Альтмана, алгоритм все еще совершает ошибки, порой глупые. Однако это очень большой шаг на пути к дружелюбному искусственному интеллекту.