Sale un modelo nuevo. El anuncio muestra un precio menor y resultados cercanos a los de otro mucho más caro. La pregunta llega enseguida: ¿conviene cambiar?
Es una buena razón para mirar. Mi criterio para recomendar el cambio empieza por otro dato: cuánto cuesta obtener un resultado que el equipo pueda usar.
El precio de la respuesta útil
Imaginá una herramienta que lee pedidos y prepara un presupuesto. Además del consumo del modelo, importan los intentos que necesita, los errores que alguien debe corregir y el tiempo que pasa hasta tener el pedido listo. Un ahorro por llamada puede desaparecer si cada respuesta requiere más revisión.
También puede ocurrir lo contrario: un modelo más pequeño resuelve bien esa tarea y deja de tener sentido pagar por capacidades que el proceso no usa. Hay que darle a la comparación la posibilidad de llegar a cualquiera de las dos conclusiones.
Tres cosas para revisar
- Calidad en tu tarea. Usá los mismos ejemplos con ambas herramientas. Incluí pedidos incompletos y casos que requieran una aclaración. Anotá qué errores serían aceptables y cuáles impedirían seguir.
- Tiempo y costo del recorrido. Contá consumo, reintentos y revisión humana. Medí hasta el resultado final, además de la velocidad de la primera respuesta.
- Condiciones para usarlo. Revisá qué datos recibe, dónde se procesan, qué límites tiene el servicio y cuánto trabajo exige integrarlo al sistema actual.
La guía de Anthropic trata calidad, privacidad, latencia y precio como dimensiones de una evaluación. La documentación de OpenAI explica cómo contrastar respuestas con criterios definidos por quien construye la aplicación, también al probar otro modelo. Son puntos de partida útiles; los criterios concretos los pone el trabajo de tu empresa.
Qué haría con el anuncio
Elegiría una tarea, conservaría la herramienta actual como referencia y haría una comparación acotada antes de cambiar el proceso. Si el resultado mejora y las condiciones encajan, hay una razón para avanzar. Si todavía falta evidencia, dejarlo en observación también es una decisión.
Seguir las novedades sirve para encontrar oportunidades. El valor está en poder explicar cuál conviene aprovechar, para qué tarea y con qué límites.