Bloomberg рассказал о проблемах OpenAI и Google в создании более продвинутых ИИ
Ведущие разработчики искусственного интеллекта OpenAI (создатель ChatGPT), Google и Anthropic сталкиваются с проблемами в создании новых, более продвинутых ИИ-моделей, рассказали источники Bloomberg. По их словам, новые разработки не показывают столь большого прогресса в сравнении с существующими, как хотели бы компании. При этом работа над новыми моделями требует все больше расходов и вычислительных мощностей, но отдача от этих усилий пока лишь уменьшается. Это вызывает опасения по поводу огромных затрат на ИИ, считает Bloomberg.
Что не так с новыми ИИ-моделями
OpenAI в сентябре закончила начальный этап обучения новой модели искусственного интеллекта, которая называется Orion. Компания надеялась, что она значительно превзойдет прошлые версии моделей, которые лежат в основе чат-бота ChatGPT. Однако модель не достигла желаемых показателей, рассказали два источника Bloomberg. По словам собеседников агентства, Orion провалил попытки ответить на вопросы о программном коде, который не использовался в процессе обучения.
Сейчас Orion не считается таким же большим шагом вперед по сравнению с предыдущим этапом, каким была модель GPT-4 относительно GPT-3.5, говорят источники Bloomberg. OpenAI пытается улучшить модель, проводя процесс «пост-обучения», который может длиться месяцами, сообщили собеседники агентства. Этот процесс включает подготовку отзывов людей для улучшения ответов ИИ и корректировки тона, с которым он общается с людьми. Но пока Orion не на том уровне, на котором OpenAI хотела бы его выпустить на рынок, и вряд ли это произойдет в начале 2025 года, отметил один из источников Bloomberg.
Следующая версия ИИ Gemini от Google пока тоже не соответствует изначальным ожиданиям компании, утверждают три собеседника Bloomberg. А у Anthropic откладываются сроки запуска новой версии ИИ Claude под названием 3.5 Opus, пишет агентство. По словам одного из его источников, 3.5 Opus показывает результаты лучше, чем у более старой версии, но преимущество не столь большое, каким должно быть, учитывая размер модели и то, как дорого её разрабатывать и обеспечивать её работу.
OpenAI отказалась от комментариев Bloomberg. Представитель Google DeepMind (лаборатория, отвечающая за ИИ) заявил, что компания «довольна наблюдаемым прогрессом Gemini» и сообщит больше деталей, когда «будет готова». Anthropic тоже отказался от комментариев, но сослался на пятичасовой подкаст с участием гендиректора компании Дарио Амодеи. Топ-менеджер в этом интервью говорил, что стартап планирует выпустить 3.5 Opus, но несколько раз отказался назвать какие-либо конкретные сроки, отметил Bloomberg. В материале Bloomberg не говорится, сталкивается ли с аналогичными проблемами ещё один крупный игрок на рынке ИИ — Meta (владелец Facebook, Instagram и WhatsApp).
В чем сложность
Три компании наблюдают все меньшую отдачу от своих дорогостоящих усилий по разработке новых моделей, пишет Bloomberg. Им все более сложно находить новые неиспользованные источники высококачественных и созданных людьми данных, которые можно использовать для обучения более продвинутых ИИ-систем, считает агентство. Неудовлетворительные результаты Orion с программированием связаны отчасти как раз с нехваткой значительного объёма кода для тренировки модели, говорят его источники.
«[Проблема] меньше связана с количеством и больше с качеством и разнообразием данных. Мы можем создать качество синтетически, но нам сложно получить уникальные, высококачественные наборы данных без контроля со стороны человека, особенно когда дело касается языка», — заявила руководитель стратегии New Enterprise Associates по ИИ и бывший заместитель директора Microsoft по технологиям Лила Третиков.
Скромных улучшений моделей может быть недостаточно для того, чтобы оправдать огромные расходы, связанные с созданием и поддержкой работы новых моделей, или чтобы удовлетворить высокие ожидания, которые появятся, если позиционировать продукты как крупные обновления, пишет Bloomberg. Неудачи вызывают сомнения по поводу огромных инвестиций в ИИ и возможности достичь главной цели участников этой гонки — создать общий искусственный интеллект (AGI), сравнимый по возможностям с человеком или превосходящий его во многих интеллектуальных задачах, добавило агентство.
Что делать
Технологические компании увеличивают вычислительные мощности, объёмы данных и сроки обучения новых ИИ-моделей, но это приводит и к росту их стоимости. Однако создание более умных, чем нобелевский лауреат, ИИ-систем, что некоторые компании надеются сделать, может потребовать больше данных, чем дают статьи из «Википедии» и комментарии на YouTube, пишет Bloomberg. OpenAI, например, заключает сделки с издателями, чтобы получить доступ к высококачественным данным. Некоторые компании также нанимают людей с учёными степенями, которые могут размечать данные, связанные с их областью знаний, включая математику и программирование, отметил Bloomberg. Но это небыстрый процесс и более дорогой, чем сбор данных в интернете, написало агентство.
OpenAI, Google и Anthropic также смещают внимание с размера моделей на новые способы их применения: например, создают ИИ-инструменты, которые называются агентами и могут бронировать билеты на самолёты или отправлять электронные письма от имени пользователя.
«Наши модели будут становиться все лучше и лучше. Но я думаю, что следующим гигантским прорывом выглядят именно агенты», — написал 31 октября глава OpenAI Сэм Альтман в ответ на вопрос на форуме Reddit.
Есть «множество факторов», которые могут «подорвать» процесс создания более мощного ИИ в следующие несколько лет, включая возможность, что «закончатся данные», допустил гендиректор Anthropic Дарио Амодеи в подкасте. Однако он оптимистично считает, что ИИ-компании найдут способ преодолеть любые проблемы. ИИ-модели будут продолжать улучшаться, но темпы, с которыми это будет происходить, находятся под вопросом, считает доцент кафедры математики в университете Бентли (Массачусетс) Ноа Джансиракуза.
«Мы были очень воодушевлены коротким периодом очень быстрого прогресса. Но он просто не был устойчивым», — заявил Джансиракуза.