PUNTOS IMPORTANTES:
- Google desarrolla un método para mejorar modelos de lenguaje grandes (LLM) con otros modelos, mejorando significativamente su rendimiento.
- El modelo PaLM2-S de Google, similar a GPT-4, mostró mejoras del 40% en tareas de codificación tras su mejora.
- Esta innovación podría tener implicaciones legales importantes para el uso de datos con derechos de autor en la IA.
La inteligencia artificial (IA) ha dado un salto significativo gracias a los investigadores de Google Research y Google DeepMind. Han desarrollado un método que permite ampliar un modelo de lenguaje grande (LLM) con otros modelos de lenguaje.
Este avance aborda uno de los problemas más grandes con los LLM, permitiendo a los desarrolladores dotar a los modelos existentes de nuevas habilidades sin necesidad de empezar desde cero o realizar costosas sesiones de reentrenamiento o ajuste fino.
Mejoras significativas en tareas xxistentes
El equipo de Google Research explica que complementar un LLM con otro mejora significativamente su rendimiento en tareas existentes y habilita nuevas tareas antes imposibles para los modelos de forma individual.
Esta mejora se demostró claramente en su investigación con el modelo PaLM2-S de Google, comparable a GPT-4.
Tras su mejora con modelos de lenguaje especializados y más pequeños, PaLM2-S exhibió notables avances. Por ejemplo, en tareas de traducción, la versión mejorada logró un incremento de rendimiento de hasta un 13% en comparación con el modelo base. Asimismo, en tareas de codificación, el modelo híbrido alcanzó una mejora relativa del 40%.
Implicaciones potencialmente masivas
Estas ganancias de rendimiento tienen implicaciones inmediatas para el sector de la IA. Por ejemplo, el aumento de rendimiento en tareas de traducción es particularmente significativo al traducir idiomas con poco soporte al inglés. Además, esta línea de investigación podría abordar problemas legales potenciales que amenazan a las empresas tecnológicas en el sector de la IA, especialmente en relación con el uso de datos con derechos de autor.
Derechos de autor vs. inteligencia artificial
Los creadores de algunos de los modelos de lenguaje más populares enfrentan demandas por alegaciones de que estos sistemas de IA se entrenan con datos con derechos de autor.
La cuestión clave es si una empresa con fines de lucro puede usar legalmente estos datos para entrenar sus modelos de lenguaje. Si los tribunales dictaminan que los desarrolladores no pueden usar dichos datos y que cualquier modelo entrenado con material con derechos de autor debe ser purgado, podría ser técnicamente imposible o financieramente inviable continuar ofreciendo los servicios afectados.
La innovación de Google en la ampliación de modelos de IA podría mitigar muchos de los requisitos de escalabilidad y costos de desarrollar un LLM desde cero o reentrenar uno existente, marcando un hito en el campo de la inteligencia artificial.
