В мае 2020 года некоммерческая организация OpenAI представила языковую модель третьего поколения GPT-3, которая с помощью глубокого обучения способна генерировать тексты, похожих на те, что создал человек. Алгоритм умеет писать прозу, стихи, новости, решать головоломки, описывать события и даже писать код.
GPT-3 основана на той же архитектуре, что и ее предшественница GPT-2, однако на этот раз разработчики увеличили количество обучающих параметров до 175 млрд. Для сравнения: вторая по мощности, на сегодняшний день, языковая модель Microsoft Turing NLG насчитывает 17 млрд параметров, что в 10 раз меньше разработки OpenAI.
Для обучения разработчики использовали 570 Гб тестовых данных, а объем готовой модели превышает 700 Гб. По словам представителей OpenAI, алгоритм получился настолько мощный, что в компании пока не готовы открывать публичный доступ к GPT-3. Тем не менее, ограниченное число разработчиков все же получили доступ к API модели, и вот что у них получилось сделать с самой интеллектуальной языковой моделью в мире.
Генератор идей для бизнеса
В сентябре 2020 года Питер Левелс, создатель сервиса для путешествующих фрилансеров Nomad List, представил сервис по генерации бизнес-идей
IdeasAI, основанный на алгоритме GPT-3. Модель обучалась на примерах успешных стартапов, и в итоге научилась “придумывать” собственные проекты.
Так, искусственный интеллект сгенерировал такие идеи: приложение для планирования покупок, готовки и питания; профессиональный фоторедактор для маркетологов; веб-приложение для доставки спутниковых снимков пользователям; стартап для помощи в поиске дома, квартиры или сожителя напрямую от арендодателя.
Пользователи сервиса могут оценивать идеи, а если кому-то приглянулась идея – разработчик за $99 готов продать ее, убрав из публичного доступа.
Текстовая приключенческая игра
Американская компания Latitude разработала первую в мире текстовую игру AI Dungeon, которая позволяет игроку создавать уникальные миры и сценарии. Для работы с AI Dungeon пользователю необходимо вводить текстовые команды, а искусственный интеллект будет понимать их контекст и адаптировать игровой мир.
Игра создавает полноценные исторические или фантастические миры, прописывать для них правила, создавать игровому персонажу воспоминания, а пользователям – полную свободу действий, которая ограничивается только их фантазией.
Программирование по описанию
Разработчик из Сан-Франциско Шариф Шамим обучил модель на GPT-3 создавать веб-элементы по их текстовому описанию, например: “синяя с текстом ПОДПИСАТЬСЯ”
This is mind blowing.
With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.
W H A T pic.twitter.com/w8JkrZO4lk
— Sharif Shameem (@sharifshameem) July 13, 2020
Позже Шамим создал генератор React-приложений по текстовому описанию Debuild, также созданный на базе GPT-3. Сервис бесплатный, однако, чтобы получить к нему доступ, необходимо заполнить Google форму и ожидать открытия доступа.
Другой пример автоматического написания кода по описанию – совместная разработка Microsoft и OpenAI, которую показали на конференции для разработчиков Build 2020. Для работы алгоритма программисту достаточно только написать комментарий на естественном языке и описать задачи для кода, а искусственный интеллект автоматически сгенерирует его.
Модель обучалась на репозитории GitHub, а демонстрацию алгоритма запускали на самом мощном суперкомпьютере Microsoft.
Написание любых текстов
Главным достижением GPT-3 большинство разработчиков и экспертов называют возможность создавать тексты любой сложности и тематики. Алгоритм может “выучить” стиль автора и писать тексты, неотличимые от авторских.
Так, Мануэль Аароз, сооснователь и бывший технический директор блокчейн-стартапа OpenZeppelin, получил доступ к GPT-3 и за несколько часов сгенерировал ряд оригинальных текстов, среди которых: описание работы биткоина; одну главу книги на испанском языке и короткую биографию; интервью с самим собой и своей “книге”; генератор рецептов из бессмысленных ингредиентов и другие текстов.
GPT-3 used to write blog posts is just fantastic. Prompt highlighted (I also put my bio above that to give more context) pic.twitter.com/BSRII0C8RC
— Manuel Araoz (@maraoz) July 18, 2020
Однако главным достижением предпринимателя является статья “GPT-3 от OpenAI может быть самым важным открытием со времен биткойна”. Примечательно, что статью написал не Аароз, а алгоритм, который сумел изучить стиль автора и по коротким вводным данным написать полноценный материал.
Кроме этого, GPT-3 может писать стихи, эссе, работать как чатбот, а также писать песни с аккордами. Разработчица из OpenAI Аманда Аскел поделилась результатом работы алгоритма, который по названию и исполнителю вымышленной песни сгенерировал полную табулатуру.
Guitar tab generated by GPT-3 from a fictional song title and artist. pic.twitter.com/ZTXuEcpMUV
— Amanda Askell (@AmandaAskell) July 16, 2020
Безосновательный хайп или общий ИИ?
Несмотря на колоссальные успехи GPT-3, эксперты не спешат называть алгоритм продвинутым искусственным интеллектом.
Колумнист Forbes Роб Тоуз считает, что алгоритм действительно впечатляет своими возможностями, так как может писать различные тексты, генерировать код и выполнять другие творческие задачи, свойственны лишь людям. Однако он отмечает, что это лишь предсказатель текста. Пользователь дает ему данные на вход, а алгоритм предполагает, как этот текст должен выглядеть.
Модель все еще не способна понимать контекст, значения слов и модель нашего мира, поэтому она ненадежна и способна совершать ошибки, которые человек не допустил бы. Но по мнению обозревателя, это не делает модель плохой. Разработчикам есть еще куда развивать возможности GPT-3.
Журналиста поддержал IT-специалист и глава инвестиционной фирмы Делиан Аспарухов, который считает, что машина не может проверить того, что выдает, а ее работа – это вероятностный результат входных данных.
Критика не осталась без ответа со стороны OpenAI. В компании отмечают, что результаты, которые показывает GPT-3 их радуют, однако ажиотаж вокруг алгоритма слишком силен. По словам главы компании Сэма Альтмана, алгоритм все еще совершает ошибки, порой глупые. Однако это очень большой шаг на пути к дружелюбному искусственному интеллекту.