OpenAI ha abierto su API de decisiones basada en el modelo GPT-6 Luna para todos los desarrolladores con un coste de 0,10 dólares por millón de tokens de entrada y sin tarifas por los tokens de salida, con el fin de competir con la startup TypeSafe.
Disponibilidad general de la API de decisiones y competencia directa con TypeSafe
Nuevas actualizaciones, precios y ganancias de velocidad para los clientes
La carrera técnica con el modelo Jeph y las clasificaciones en los índices globales
La apuesta por la clasificación de imágenes y la reducción de la latencia a 60 milisegundos
Preguntas frecuentes
Disponibilidad general de la API de decisiones y competencia directa con TypeSafe
OpenAI lanzó el jueves 22 de octubre su «API de decisiones» de forma general para todos los clientes y desarrolladores. Esta herramienta de software se basa en el modelo «GPT-6 Luna» y destaca por su capacidad para responder a preguntas específicas y acotadas «a una velocidad de hasta 10 veces superior a la del modelo GPT-6 Luna a través de la interfaz de respuestas tradicional», según anunció la empresa.
Este lanzamiento general sitúa a OpenAI en competencia directa con la startup TypeSafe, cuyo popular modelo «Jeph» inauguró la categoría de modelos de «decisión» rápidos y de bajo coste, una innovación que ayudó a elevar la valoración de mercado de TypeSafe hasta los 7.600 millones de dólares, de acuerdo con un informe de TechCrunch.
Nuevas actualizaciones, precios y ganancias de velocidad para los clientes
La nueva interfaz va más allá de la generación completa de texto; los desarrolladores escriben una pregunta específica, incluyen una lista de respuestas permitidas y aportan contexto en formato de texto, imágenes o archivos de datos estructurados. A partir de esto, la interfaz devuelve una probabilidad, una opción concreta o una puntuación de evaluación según un criterio determinado sobre el que la aplicación de software puede actuar de inmediato, según OpenAI. El registro de cambios muestra que la interfaz entró en fase de pruebas el 6 de octubre y, desde entonces, la empresa ha añadido la integración de audio nativa con la tecnología «GPT Live», la función de almacenamiento en caché de los prompts, el alojamiento de los datos de inferencia dentro de Estados Unidos y la Unión Europea, y ha duplicado el límite máximo hasta alcanzar las 400 preguntas por solicitud. Los precios se sitúan en 0,10 dólares por millón de tokens de entrada y 0,01 dólares por millón de tokens almacenados en caché, sin cobrar ninguna tarifa por los tokens de salida.
Varios de los primeros clientes han registrado importantes aumentos de velocidad; la empresa Box afirmó que la selección de rutas se ha vuelto unas 5 veces más rápida, mientras que Datadog informó de que experimentó una velocidad hasta 40 veces mayor en el tiempo de respuesta al evaluar los riesgos de los prompts generados por agentes en comparación con los modelos frontera. Por su parte, la aplicación de aprendizaje de idiomas Speak indicó que la latencia para la siguiente acción se redujo de 1,4 segundos a tan solo 0,13 segundos.
La carrera técnica con el modelo Jeph y las clasificaciones en los índices globales
Nikunj Handa, director de productos de APIs en OpenAI, declaró a TechCrunch que sus compañeros que vieron el modelo Jeph por primera vez reaccionaron diciendo: «Increíble, tenemos cerca de un millón de casos de uso para esta innovación». Handa explicó que OpenAI no entrenó un modelo de decisiones específico desde cero, sino que reconfiguró el modelo Luna para que funcionara con mayor velocidad y menor coste, afirmando: «Por ahora, es simplemente el modelo Luna habitual haciendo el trabajo de manera eficiente».
Aun así, OpenAI no lidera este campo todavía; según TechCrunch, el índice AIM System One y el índice de decisiones Artificial Analysis tienden a favorecer al modelo D1 Ultra de Liquid y al modelo Elephant 1 de PaceLab. El modelo Jeph ocupa el séptimo y tercer puesto en estos índices, mientras que el modelo de OpenAI se sitúa en el octavo y decimocuarto lugar. Asimismo, los modelos de TypeSafe son los más demandados en la plataforma OpenRouter, y Jeph resulta más económico, con un coste anunciado de 0,042 dólares por millón de tokens de entrada, aunque solo acepta texto, según el análisis de un desarrollador.
La apuesta por la clasificación de imágenes y la reducción de la latencia a 60 milisegundos
Handa considera que la capacidad de la interfaz para procesar imágenes podría otorgar a OpenAI una ventaja competitiva decisiva, al señalar: «El modelo Luna es extremadamente potente y muestra una calibración mucho mejor» en las tareas de clasificación de imágenes.
Asimismo, indicó que reducir aún más la latencia podría abrir la puerta a casos de uso totalmente nuevos, al plantear: «¿Podemos llevar este tiempo a unos 60 milisegundos, momento en el que podrías imaginarte realizando una llamada mediante API a la interfaz para cada fotograma individual dentro de un clip de vídeo?».
Preguntas frecuentes
Pregunta: ¿Cómo funciona la nueva API de decisiones de OpenAI?
Respuesta: La interfaz va más allá de la generación de textos largos; el desarrollador aporta una pregunta, las respuestas permitidas y un contexto en texto o imagen, y la interfaz devuelve una probabilidad o una opción específica a una velocidad hasta 10 veces superior a la de la interfaz tradicional.
Pregunta: ¿Cuál es el coste de utilizar la API de decisiones basada en el modelo GPT-6 Luna?
Respuesta: El coste es de 0,10 dólares por millón de tokens de entrada y 0,01 dólares por millón de tokens almacenados en caché, quedando los tokens de salida exentos de cualquier cargo económico.
Pregunta: ¿Cómo se compara la interfaz de OpenAI con el modelo Jeph de TypeSafe?
Respuesta: El modelo Jeph es más económico, con un precio de 0,042 dólares por millón de tokens de entrada, y se sitúa por delante en los índices de medición, pero solo acepta texto, mientras que la interfaz de OpenAI destaca por su compatibilidad con imágenes, audio y datos estructurados.
Pregunta: ¿Qué resultados destacados obtuvieron los primeros clientes como Datadog y Speak?
Respuesta: Datadog logró una velocidad 40 veces mayor en la evaluación de riesgos de los prompts de agentes, la aplicación Speak redujo la latencia de 1,4 segundos a 0,13 segundos, y Box multiplicó por 5 la velocidad de selección de rutas.
