El modelo de inteligencia artificial (IA) Groq está generando un gran revuelo en las redes sociales, desafiando el dominio de ChatGPT y provocando comparaciones con el propio modelo de Elon Musk, Grok.
Groq ha ganado popularidad rápidamente debido a su impresionante velocidad de respuesta y una nueva tecnología que podría eliminar la necesidad de las GPU. En una demostración pública, Groq mostró su capacidad para generar respuestas objetivas y citadas con cientos de palabras en menos de un segundo, superando ampliamente a otros modelos como ChatGPT.
El equipo detrás de Groq ha desarrollado su propio circuito integrado de aplicación específica (ASIC) para grandes modelos de lenguaje (LLM), permitiéndole generar unos 500 tokens por segundo. Esto marca una notable diferencia en comparación con ChatGPT 3.5, que puede generar alrededor de 40 tokens por segundo. Además, Groq utiliza una Unidad de Procesamiento de Lenguaje (LPU) en lugar de GPU convencionales, lo que lo hace más eficiente y rápido en el procesamiento de tareas de IA.
Aunque la IA ha ganado fama recientemente, la empresa fue fundada en 2016. En noviembre pasado, cuando Elon Musk anunció su modelo de IA llamado Grok, los desarrolladores de Groq expresaron su descontento por la elección del nombre. Desde entonces, ha habido especulaciones sobre la similitud entre ambos modelos, pero ni Musk ni Grok han comentado al respecto.
Los usuarios de la plataforma están comenzando a comparar Groq con otros modelos populares basados en GPU. Se cree que las LPU de Groq podrían ofrecer una mejora significativa en el rendimiento de las GPU para aplicaciones de IA en el futuro, lo que podría ser una alternativa a los chips de alto rendimiento producidos por Nvidia. Este interés en el desarrollo de chips propios por parte de los principales desarrolladores de IA coincide con el intento de OpenAI de recaudar fondos para desarrollar su propio chip y superar los problemas de escalabilidad de sus productos.