Hay que tener presente que, computacionalmente, los modelos de lenguaje grandes no distinguen entre una parte difícil de una tarea de generación de texto y una parte fácil.
Imaginemos que estamos ante un interlocutor al que podemos hacerle preguntas. Podemos encontrarnos dos escenarios diferentes, en el primero le realizamos una pregunta sencilla como, por ejemplo, de que color es el césped. A priori, la respuesta a esta pregunta es sencilla por lo que velocidad de respuesta será rápida. En cambio, ante una pregunta difícil, requiere que uno se detenga y piense un poco más para encontrar la respuesta.
Esa velocidad de respuesta, por tanto, va a depender de la dificultad de la pregunta y la cantidad de procesamiento que sea necesaria para ofrecer una respuesta.
Los investigadores de Google encontraron una solución interesante para acelerar los modelos de lenguaje y al mismo tiempo mantener un alto rendimiento.
La solución de Google a esta problemática se llama Modelado de lenguaje adaptable seguro (CALM), conocido como Google CALM.
