Ir al contenido principal

Límites de Velocidad y Costos

Comprender y gestionar el uso de la API es crucial para una experiencia fluida y rentable con AI Cockpit Reasoning. Esta sección explica cómo rastrear el uso de tokens, los costos y cómo configurar los límites de velocidad.

Uso de Tokens​

AI Cockpit Reasoning interactúa con los modelos de IA usando tokens. Los tokens son esencialmente fragmentos de palabras. El número de tokens utilizados en una solicitud y respuesta afecta tanto el tiempo de procesamiento como el costo.

  • Tokens de Entrada: Son los tokens en su prompt, incluyendo el prompt del sistema, sus instrucciones y cualquier contexto proporcionado (por ejemplo, contenido de archivos).
  • Tokens de Salida: Son los tokens generados por el modelo de IA en su respuesta.

Puede ver el número de tokens de entrada y salida utilizados para cada interacción en el historial del chat.

Cálculo de Costos​

La mayoría de los proveedores de IA cobran según el número de tokens utilizados. Los precios varían según el proveedor y el modelo específico.

AI Cockpit Reasoning calcula automáticamente el costo estimado de cada solicitud de API basándose en los precios del modelo configurado. Este costo se muestra en el historial del chat, junto al uso de tokens.

Nota:

  • El cálculo de costos es una estimación. El costo real puede variar ligeramente según las prácticas de facturación del proveedor.
  • Algunos proveedores pueden ofrecer niveles gratuitos o créditos. Consulte la documentación de su proveedor para más detalles.
  • Algunos proveedores ofrecen caché de prompts que reduce considerablemente los costos.

Configuración de Límites de Velocidad​

Para evitar el uso excesivo accidental de la API y ayudarle a gestionar los costos, AI Cockpit Reasoning le permite establecer un límite de velocidad. El límite de velocidad especifica el tiempo mínimo (en segundos) entre solicitudes de API.

Cómo configurar:

  1. Abra la configuración de AI Cockpit Reasoning (icono en la esquina superior derecha).
  2. Vaya a la sección "Configuración Avanzada" en la pestaña de Proveedores.
  3. Encuentre la configuración "Límite de Velocidad (segundos)".
  4. Ingrese el retraso deseado en segundos. Un valor de 0 deshabilita el límite de velocidad.

Ejemplo:

Si establece el límite de velocidad en 10 segundos, AI Cockpit Reasoning esperará al menos 10 segundos después de que se complete una solicitud de API antes de enviar la siguiente.

Consejos para Optimizar el Uso de Tokens​

  • Sea Conciso: Use un lenguaje claro y conciso en sus prompts. Evite palabras o detalles innecesarios.
  • Proporcione Solo el Contexto Relevante: Use las menciones de contexto (@archivo.ts, @carpeta/) de manera selectiva. Solo incluya los archivos que son directamente relevantes para la tarea.
  • Divida las Tareas: Divida las tareas grandes en subtareas más pequeñas y enfocadas.
  • Use Instrucciones Personalizadas: Proporcione instrucciones personalizadas para guiar el comportamiento de AI Cockpit Reasoning y reducir la necesidad de explicaciones largas en cada prompt.
  • Elija el Modelo Correcto: Algunos modelos son más rentables que otros. Considere usar un modelo más pequeño y rápido para tareas que no requieren toda la potencia de un modelo más grande.
  • Use Modos: Los diferentes modos pueden acceder a diferentes herramientas; por ejemplo, Architect no puede modificar código, lo que lo convierte en una opción segura al analizar una base de código compleja, sin preocuparse por permitir accidentalmente operaciones costosas.
  • Deshabilite MCP si No lo Usa: Si no está usando las funciones de MCP (Protocolo de Contexto de Modelo), considere deshabilitarlo en la configuración de MCP para reducir significativamente el tamaño del prompt del sistema y ahorrar tokens.

Al comprender y gestionar el uso de su API, puede usar AI Cockpit Reasoning de manera efectiva y eficiente.