Инсайдеры технологической отрасли начинают признавать, что рост больших языковых моделей (LLM) замедляется, несмотря на увеличение данных и вычислительной мощности.
В Силиконовой долине растет уверенность в том, что достижения в области искусственного интеллекта (ИИ) не соответствуют ранее ожидаемым темпам, особенно послеenthusiastic запуска ChatGPT два года назад. Изначально сторонники считали, что за этим последует экспоненциальный рост, поскольку технологические гиганты массово инвестировали в ресурсы.
Однако эксперты теперь предупреждают, что полагание исключительно на большее количество данных и вычислительной мощности может не привести к ожидаемому появлению общей искусственной интеллигенции (AGI). Гэри Маркус, известный критик ИИ, заявил: "Астрономические оценки компаний, таких как OpenAI и Microsoft, в значительной степени основаны на идее, что LLM станут AGI, если они продолжат расширяться. Это просто абсурд."
Одной из значительных проблем является ограниченное количество языковых данных, доступных для обучения моделей. Скотт Стивенсон, глава ИИ в Spellbook, отметил, что сосредоточение исключительно на языковых данных неизбежно приведет к стагнации.
Саша Луччони из Hugging Face утверждала, что одержимость отрасли размером над целью является фундаментальной ошибкой. Она отметила: "Стремление к AGI всегда было нереалистичным, и подход 'больше - значит лучше' должен был достичь предела, который, я думаю, мы сейчас видим."
Несмотря на эти опасения, некоторые в отрасли утверждают, что прогресс к ИИ уровня человека остается непредсказуемым. Генеральный директор OpenAI, Сэм Альтман, заявил: "Стены нет", не уточнив, что он имел в виду.
OpenAI недавно отложила выпуск ожидаемого преемника GPT-4 из-за неисполненных ожиданий относительно его возможностей. Теперь компания сосредоточена на оптимизации существующих способностей, а не просто на увеличении объема данных.
Стивенсон подчеркнул, что изменение стратегии OpenAI в сторону улучшения рассуждений вместо расширения данных привело к значительным улучшениям. Он сравнил эволюцию ИИ с открытием огня, предложив, что пришло время использовать достижения для конкретных задач, а не просто добавлять топливо.