Skip to main content

QUE ES:

Google CALM

NOVEDADES Y TECNOLOGÍA

Google CALM: una nueva tecnología de modelo de lenguaje.

Google está desarrollando una nueva tecnología innovadora llamada CALM que acelera los modelos de lenguaje grandes (como GPT-3 y LaMDA) sin comprometer los niveles de rendimiento.

CALM o Modelado de Lenguaje Adaptativo Seguro es un innovadora tecnología que permite mejorar las velocidades de los modelos de lenguaje grandes hasta tres veces.

Prime

Las habilidades emergentes

Las habilidades emergentes son habilidades que no están necesariamente planificadas dentro de un sistema de IA. Los modelos de lenguaje grande o LLM se entrenan con grandes cantidades de datos. Entrenar los modelos de lenguaje en grandes cantidades de datos da como resultado que el modelo aprenda nuevas habilidades que no siempre están planificadas. Pongamos un ejemplo, imaginar un modelo de lenguaje que sea capaz de obtenga la capacidad de traducir entre diferentes idiomas, aunque no haya sido entrenado para hacerlo. En este caso estaríamos delante de una habilidad emergente. Por lo que aumentar la cantidad de datos para entrenar la máquina le permite adquirir más habilidades.

La desventaja de ampliar los datos de entrenamiento es que se necesita más potencia computacional para producir una salida, lo que hace que la IA sea más lenta en el momento en que genera una salida de texto (un momento que se denomina "tiempo de inferencia"). Y es allí donde entra la tecnología de Google con la nueva tecnología Google CALM la cual utiliza su chatbot Google BARD.

El nuevo trabajo de investigación de Google ( PDF de modelado de lenguaje adaptativo seguro ) describe el problema detalladamente.

Modelado de lenguaje adaptativo seguro (CALM)

Hay que tener presente que, computacionalmente, los modelos de lenguaje grandes no distinguen entre una parte difícil de una tarea de generación de texto y una parte fácil.

Imaginemos que estamos ante un interlocutor al que podemos hacerle preguntas. Podemos encontrarnos dos escenarios diferentes, en el primero le realizamos una pregunta sencilla como, por ejemplo, de que color es el césped. A priori, la respuesta a esta pregunta es sencilla por lo que velocidad de respuesta será rápida. En cambio, ante una pregunta difícil, requiere que uno se detenga y piense un poco más para encontrar la respuesta.

Esa velocidad de respuesta, por tanto, va a depender de la dificultad de la pregunta y la cantidad de procesamiento que sea necesaria para ofrecer una respuesta.

Los investigadores de Google encontraron una solución interesante para acelerar los modelos de lenguaje y al mismo tiempo mantener un alto rendimiento.

La solución de Google a esta problemática se llama Modelado de lenguaje adaptable seguro (CALM), conocido como Google CALM.

¿Cómo trabaja CALM ó Confident Adaptive Language Modeling?

Lo que hace este nuevo marco es dedicar menos recursos a las partes triviales de una tarea de generación de texto y dedicar todo el poder a las partes más difíciles.

Prime

Esta información se puede encontrar publicada en el blog de IA de Google el 16 de diciembre de 2022.

¡Compartir!