Los ejecutivos del sector de IA están reevaluando el enfoque tradicional de utilizar grandes cantidades de datos para entrenar modelos de lenguaje (LLMs). Líderes de la industria de empresas como OpenAI, Meta y Google están explorando métodos de entrenamiento más eficientes a medida que crecen las preocupaciones sobre las limitaciones de las prácticas actuales de escalado.
Históricamente, se asumió que más datos conducen a modelos más inteligentes. Sin embargo, expertos como Alexandr Wang, CEO de Scale AI, destacan que la industria ahora cuestiona si esta ley de escalado seguirá siendo válida. Aidan Gomez, CEO de Cohere, describe el método actual como 'sin sentido', abogando por modelos más pequeños que sean rentables y eficientes.
Richard Socher, exejecutivo de Salesforce, sugiere un método alternativo de entrenamiento que implica traducir preguntas a código informático, lo que podría reducir inexactitudes y mejorar las capacidades del modelo. Mientras algunos creen que la industria se acerca a un muro de escalado, el CTO de Microsoft, Kevin Scott, argumenta que aún son posibles retornos significativos en la escala.
La reciente liberación de OpenAI, o1, busca mejorar los modelos existentes al centrarse en preguntas cuantitativas, aunque requiere más potencia computacional y es más lenta que su predecesor, ChatGPT. La evolución continua en los métodos de entrenamiento de IA refleja un cambio crítico en la industria mientras busca avanzar hacia sistemas más inteligentes.