4dim / Notas
Cuánto puede gastar en IA un cliente al día
Los topes de una suscripción de inteligencia artificial son de la cuenta, no del cliente: el primero que llega deja a los demás con un error que nadie sabe explicar. Cómo se reparte, por qué en dinero y no en consultas, y por qué se anota lo que falla.
El error que nadie sabe explicar
Si vendes un producto con inteligencia artificial dentro a varios clientes, esta nota te dice cómo repartir una suscripción compartida sin que el primero que llegue deje a los demás sin servicio. Con las cuatro decisiones que hay que tomar.
Empieza por un hecho incómodo de casi todas las suscripciones de inteligencia artificial: los topes son de la cuenta, no del cliente. Unos pocos dólares cada cinco horas, compartidos por todos los negocios a la vez.
Sin repartir, esto pasa: un negocio se pone a conversar con el asistente toda la mañana, se come el tope, y los otros doce reciben un error del proveedor. Un error que no dice «se acabó el presupuesto compartido»: dice un número.
Nadie sabría por qué. Ni ellos, ni nosotros.
Ese es el verdadero problema. No es que se acabe el presupuesto —eso va a pasar—, es que se acabe de una forma que no se puede explicar. Así que el reparto se hace en casa, antes de salir, y no se descubre después.
El tope va en dinero, no en consultas
Primera decisión, y la que más se hace mal porque contar consultas es mucho más fácil.
Las consultas no cuestan igual. «¿Cuántos clientes esperan respuesta?» es un viaje corto: una pregunta, un dato, una frase. «Resúmeme las diez últimas conversaciones» son seis pasos con la bandeja entera dentro.
Un tope de «50 consultas al día» premia a quien pregunta cosas caras y castiga a quien pregunta muchas cosas baratas. Es decir: castiga al que usa bien la herramienta.
El nuestro va en dinero: unas 2.000 milésimas de dólar al día por negocio, o sea unos dos dólares. Una consulta normal cuesta entre una y diez milésimas, así que da para mucho — y quien haga cinco preguntas enormes consume lo mismo que quien haga doscientas pequeñas, que es exactamente lo justo.
| Forma del tope | A quién favorece | Problema |
|---|---|---|
| Por consultas | A quien pregunta cosas caras | El coste real varía por diez o más |
| Por dinero | A nadie | Hay que medir cada llamada |
| Sin tope | Al primero que llegue | Los demás ven un error sin explicación |
No se reserva por adelantado, y se acepta pasarse un poco
La segunda sorprende: no sabemos lo que va a costar una consulta hasta que vuelve.
El coste depende de cuánto texto entra y cuánto sale, y lo segundo no se sabe antes. Se podría reservar una cantidad por adelantado y devolver la diferencia, como hace un hotel con una tarjeta. Es más código, más estados y más formas de que algo se quede reservado para siempre porque un proceso murió a mitad.
Lo que hacemos es mirar el gasto ya hecho antes de salir. Si queda cuerda, adelante. Eso significa que la última consulta del día puede pasarse un poco del tope.
Y está bien, porque hay que tener claro para qué existe el tope: para que un negocio no se lo lleve todo, no para cobrar al centavo. Confundir las dos cosas es lo que lleva a construir un sistema de facturación cuando lo que hacía falta era un freno.
Se anota aunque haya salido mal
La tercera protege contra el desastre de verdad.
El coste se anota pase lo que pase, incluso si la consulta terminó en error y no sirvió para nada. Porque los tokens de una respuesta inútil se pagan igual: el proveedor ya hizo el trabajo.
Si solo se anotaran las consultas que salieron bien, un fallo que entra en bucle saldría gratis en la cuenta y carísimo en la factura. El contador diría cero mientras el proveedor cobra cada vuelta.
Un contador que no cuenta los fallos deja de ser un freno justo cuando más falta hace.
Milésimas y no centavos
Cuarta y última, y es de las que parecen triviales hasta que te comen los datos.
Una consulta cuesta fracciones de centavo. Si se guarda redondeada a centavos, la inmensa mayoría valen cero, y el total del mes también. Se pierde el dato entero.
Por eso se guarda en milésimas de dólar, en números enteros. Enteros y no decimales porque sumar decimales miles de veces acumula error, y un contador de gasto que deriva es peor que no tenerlo: da una cifra que parece exacta y no lo es.
La regla general, que sirve para cualquier contador de dinero: elige la unidad más pequeña que te importe, guárdala como entero, y redondea solo al enseñarla.
Qué hacer entonces
- Averigua si el tope de tu proveedor es de la cuenta o del usuario. Casi siempre es de la cuenta, y eso significa que el reparto te toca a ti.
- Mide en dinero, no en consultas. Aunque empieces contando consultas por simplicidad, guarda ya el coste real: el día que quieras cambiar, tendrás historia.
- Anota también lo que falla. Es la única defensa contra un bucle silencioso.
- Guarda en la unidad más pequeña, como entero. Milésimas, no centavos; enteros, no decimales.
- Decide si tu tope es un freno o una factura. Si es un freno, acepta pasarte un poco y ahórrate la mitad del código.
Esta nota sale de nuestro trabajo en Agentes conversacionales.