Руководители в сфере ИИ переоценивают традиционный подход, заключающийся в использовании огромных объемов данных для обучения языковым моделям (LLM). Лидеры отрасли из компаний, таких как OpenAI, Meta и Google, исследуют более эффективные методы обучения, поскольку растут опасения по поводу ограничений текущих практик масштабирования.
Исторически сложилось так, что предполагалось, что больше данных приводит к более умным моделям. Однако эксперты, такие как Александр Ванг, генеральный директор Scale AI, подчеркивают, что отрасль теперь ставит под сомнение, будет ли эта законность масштабирования продолжать действовать. Эйдан Гомес, генеральный директор Cohere, описывает текущий метод как 'бессмысленный', выступая за более мелкие модели, которые являются рентабельными и эффективными.
Ричард Сочер, бывший исполнительный директор Salesforce, предлагает альтернативный метод обучения, который включает перевод вопросов в компьютерный код, что может уменьшить неточности и улучшить способности модели. Хотя некоторые считают, что индустрия приближается к стене масштабирования, технический директор Microsoft Кевин Скотт утверждает, что значительные результаты масштабирования все еще возможны.
Недавний выпуск OpenAI, o1, стремится улучшить существующие модели, сосредоточив внимание на количественных вопросах, хотя он требует больше вычислительной мощности и медленнее, чем его предшественник, ChatGPT. Постоянная эволюция методов обучения ИИ отражает критический сдвиг в индустрии, поскольку она стремится к созданию более интеллектуальных систем.