Overview
Más que solo un selector de modelos, Copilot auto model selection es un sistema inteligente que ofrece resultados de alta calidad, una mejor confiabilidad y una decisión menos para tomar a medida que el panorama del modelo evoluciona rápidamente.
Puede usar Copilot auto model selection al elegir Auto en el selector de modelos. Si ves Copilot Fusion en el selector, en lugar de Automático, significa que Copilot Fusion está disponible en la Copilot superficie. Consulte Acerca de GitHub Copilot Fusion.
Auto model selection disponibilidad
Auto model selection está disponible en estas superficies de integración:
- Copilot in the cloud
- En Copilot Free, Copilot cloud agent y Copilot Chat en GitHub.com
- GitHub Copilot Chat in GitHub Mobile
- Eclipse
- Xcode
- Visual Studio
Descuento por usar auto model selection
Si está en un plan de pago Copilot , puede optar por un descuento de 10% en los costos del modelo mientras usa auto model selection en Copilot Chato Copilot cloud agent.
Automático con optimización de tareas
Nota:
Auto model selection con optimización de tareas está disponible con carácter general en el sitio web GitHub, en Copilot Chat.
Auto model selection con la optimización de tareas combina dos sistemas para proporcionar resultados de alta calidad y una mejor confiabilidad. Un sistema realiza un seguimiento del estado y la disponibilidad del sistema en tiempo real, mientras que el otro evalúa la complejidad de las tareas. Al combinar estos elementos, auto model selection dirige la tarea al modelo más adecuado.
El enrutamiento se realiza siguiendo los límites naturales de la caché y las grandes variaciones en la complejidad de la conversación, para evitar costes adicionales relacionados con la caché sin que ello suponga mejoras en la calidad.
Esto le ayuda a obtener más valor de Copilot, ya que asigna cada tarea al modelo que puede resolverla de la forma más eficaz. Esto significa reservar modelos de razonamiento de mayor costo para los problemas que realmente lo necesitan, al tiempo que se enrutan tareas sencillas a modelos más rápidos y de menor costo que siguen proporcionando excelentes resultados.
Estas son algunas ventajas de usar auto model selection:
- Hacer coincidir cada tarea con el modelo que puede resolverlo de forma más eficaz.
- Elección del modelo en función del estado y la disponibilidad del sistema en tiempo real.
- Invariancia lingüística: las decisiones de enrutamiento dependen de lo que intentas hacer, no del idioma en el que lo plantees.
- Mejora de la eficiencia de costos debido al enrutamiento inteligente de tareas.
Opciones de nivel para auto model selection
Hay tres niveles disponibles. Utiliza estos niveles para ajustar cómo auto model selection dirige prioritariamente los modelos para cada prompt.
| Nivel | Priority | Uso típico |
|---|---|---|
| Eficiencia | Cost | Adecuado para tareas rápidas y sencillas. |
| Saldo | Equilibra el costo, la calidad y la latencia. | Una buena opción para el trabajo diario. |
| Inteligencia | Quality | Diseñado para tareas complejas. |
Con los niveles, auto model selection sigue teniendo en cuenta el prompt de cada tarea. Los mismos modelos siguen estando disponibles en cada nivel, pero el enrutamiento en capas cambia cómo se seleccionan los modelos preferidos para cada tarea. Ejemplos de cada nivel:
- Eficiencia: todas las solicitudes se dirigen al modelo más rentable y con la capacidad adecuada para la tarea.
- Equilibrio: para cada solicitud, el modelo se selecciona considerando el costo, la calidad y la latencia, para proporcionar un rendimiento rentable y eficaz adecuado a la complejidad de cada solicitud.
- Inteligencia: los prompts se evalúan para determinar qué modelo proporcionaría la respuesta de mayor calidad. Todavía se puede enrutar un mensaje simple a un modelo más pequeño, mientras que un mensaje complejo se enruta al modelo más capaz de esa tarea.
El uso se sigue cobrando en función del modelo seleccionado automáticamente, independientemente del nivel, y se aplica además el descuento del 10 % para los usuarios con planes de pago. Consulte Descuento para la selección automática del modelo.
Directivas y disponibilidad del modelo
Al seleccionar Automático, auto model selection elige entre los modelos admitidos, sujeto a las directivas y el tipo de suscripción. Los modelos disponibles pueden cambiar con el tiempo. Consulte Modelos de IA admitidos en GitHub Copilot.
Auto model selection no incluirá estos modelos:
- Los modelos no están disponibles en el plan.
- Modelos excluidos por directivas de administrador. Consulte Configuración del acceso a los modelos de inteligencia artificial en GitHub Copilot.
- Modelos excluidos por directivas que restringen Copilot a modelos con residencia de datos o compatibles con FedRAMP.
- Los modelos excluidos por directivas que restringen los modelos de evaluación.
- Los modelos que usted, o un administrador de su empresa u organización, ha instalado en la red local o en el equipo local, y se han agregado a Copilot para su selección en el selector de modelos.
Deshabilitación de modelos de evaluación en auto model selection
Auto model selection puede ofrecer modelos de evaluación a los usuarios de los planes Copilot individuales. Las personas pueden deshabilitar el uso de estos modelos en cualquier momento. Consulte Modelos de IA admitidos en GitHub Copilot.