Adición de modelos LLM a GitHub Copilot CLI

Hay varias maneras de agregar modelos a Copilot CLI.

• Ollama: Copilot CLI detecta automáticamente los modelos servidos por Ollama que se ejecuta en tu máquina, y puedes agregar estos modelos desde el selector de modelos.
• Proveedor de modelos configurado manualmente: agregue un proveedor de modelos externo especificando sus propias credenciales en un archivo de configuración. Este método se suele denominar bring your own key (BYOK).
• Instalación MAI Code 1.1 Flash local: Los usuarios de Windows con las especificaciones del sistema necesarias pueden instalar este modelo directamente desde el selector de modelos y ejecutarlo en su equipo local.

Requisitos del modelo

Elija un modelo y un punto de conexión que admitan llamadas a herramientas (también llamadas a funciones) y streaming. Estas funcionalidades permiten Copilot CLI usar herramientas y mostrar respuestas a medida que llegan.

Configure los límites de tokens para que coincidan con el modelo, especialmente para los modelos locales más pequeños. Para un modelo desconocido, Copilot CLI puede tener como valor predeterminado un límite de 128 000 tokens del prompt, lo que puede superar la capacidad real del modelo. Establecer un límite superior no aumenta la ventana de contexto del modelo.

Adición de modelos desde Ollama

Si Ollama se ejecuta en el equipo local y ya has descargado un modelo, Copilot CLI puede detectar el modelo y permitirte agregarlo desde el selector de modelos.

Prerequisite

Debe haber instalado Ollama en el equipo local y descargado al menos un modelo. Para obtener información, consulte Descargar Ollama en el sitio web de Ollama.

Añadir un modelo

1. En una sesión interactiva, escriba /model.

2. Busque modelos proporcionados por Ollama en "Local y autohospedado".

   Los modelos que haya descargado de Ollama, pero que aún no ha añadido, se muestran con el estado "Detectado".

3. Seleccione un modelo detectado y presione Intro.

4. Elija Agregar y usar en esta sesión para cambiar al modelo o Agregar sin cambiar para seguir usando el modelo actual.

5. Presione Esc para salir del selector.

La CLI guarda los detalles del modelo en el providers.json archivo para que esté disponible en sesiones posteriores.

Adición manual de una configuración del proveedor de modelos

Para usar un proveedor de modelos distinto de Ollama, debe agregar manualmente los detalles del proveedor al archivo providers.json.

Prerequisite

Debe tener una clave de API para agregar un proveedor de modelos que requiera autenticación.

Proveedores compatibles

Para las conexiones a la API del proveedor de modelos, están disponibles los siguientes tipos de proveedor:

Tipo de proveedor	Servicios compatibles
openai	OpenAI y servicios con una API compatible con OpenAI, como Ollama, vLLM y Foundry Local. Este es el tipo de proveedor predeterminado.
azure	Azure OpenAI Service.
anthropic	Antrópica (modelos de Claude).

Añadir un proveedor y un modelo

El providers.json archivo almacena los detalles de los proveedores y modelos configurados. Se encuentra en el directorio de configuración de la CLI, normalmente ~/.copilot. Puede usar otro archivo estableciendo COPILOT_PROVIDERS_CONFIG en la ruta de acceso del archivo antes de iniciar la CLI.

Los modelos que configure en el archivo providers.json están disponibles en el selector de modelos de la CLI, junto con los modelos proporcionados por GitHub disponibles para su cuenta.

1. Abra providers.jsono créelo si no existe. Agregue el proveedor y el modelo. Por ejemplo, esta configuración agrega el proveedor de modelos openAI y un modelo:

   {
      "providers": [
         {
            "name": "my-provider",
            "type": "openai",
            "baseUrl": "https://api.openai.com/v1",
            "apiKey": "YOUR-API-KEY"
         }
      ],
      "models": [
         {
            "id": "YOUR-MODEL-NAME",
            "provider": "my-provider"
         }
      ]
   }
   

   Reemplace YOUR-API-KEY por la clave de API de su proveedor y YOUR-MODEL-NAME por un nombre de modelo disponible para su cuenta. Para otro proveedor compatible con OpenAI, cambie baseUrl a su dirección URL de API. Omita apiKey si el proveedor no requiere autenticación.

   Si el archivo ya contiene proveedores y modelos, agregue a los datos existentes en lugar de reemplazarlos.

   Para proveedores o modelos que necesitan una configuración adicional:

   • Establezca type del proveedor en azure para Azure OpenAI o anthropic para Anthropic, y use la dirección URL y las credenciales de la API de ese proveedor.
   • En el caso de los modelos de OpenAI o Azure que usan la Responses API, agregue "wireApi": "responses" a la configuración del proveedor. El valor predeterminado es completions.
   • Para una implementación de Azure, establezca el wireModel del modelo en el nombre de la implementación y modelId en el nombre del modelo que implementó. Si necesita una versión de API específica, agregue "azure": { "apiVersion": "YOUR-API-VERSION" } al identificador del proveedor. Reemplace YOUR-API-VERSION por la versión requerida por el punto de conexión.
   • Si el id del modelo es un nombre que eligió en lugar del nombre aceptado por el proveedor, establezca wireModel en el nombre del modelo del proveedor. Establezca modelId como nombre de modelo que reconoce la CLI para que pueda usar las funcionalidades y límites del modelo.
   • Establezca maxPromptTokens y maxOutputTokens en un modelo para que coincidan con los límites admitidos. Use números enteros mayores que cero.
   • Para autenticarse con un token Bearer en lugar de una clave de API, establezca bearerToken en el proveedor.

   Muchos otros parámetros se pueden configurar en este archivo. Para obtener más información, vea directorio de configuración de la CLI de GitHub Copilot.

2. Para agregar otro modelo del mismo proveedor, agregue otra entrada a models con un id diferente y el mismo provider.

   Nota:

   El valor de provider de cada modelo debe coincidir con el name de un proveedor.

3. Para agregar un proveedor diferente, agregue una entrada a providers con un único namey agregue sus modelos.

4. Guarde el archivo y reinicie la CLI.

5. Para seleccionar el modelo de ejemplo al iniciar una sesión, ejecute:

   copilot --model PROVIDER-NAME/MODEL-NAME
   

6. Para cambiar los modelos durante una sesión, use el /model comando de barra diagonal. Para obtener más información, vea Elección de un modelo en GitHub Copilot CLI.

7. Para dejar de cargar un proveedor desde la configuración guardada, quite su entrada de providers y sus entradas de modelo de modelsy reinicie la CLI. Elija un valor predeterminado diferente en /model --global antes de quitar el modelo predeterminado actual.

Instalación de un modelo local desde el selector de modelos

Si usa Windows y el equipo cumple los siguientes requisitos previos, puede usar el selector de modelos de la CLI para instalar y ejecutar los siguientes modelos localmente en el dispositivo:

• MAI Code 1.1 Flash
• Flint NVFP4

Requisitos previos

Debe tener:

• Un PC con Windows

• Una GPU de NVIDIA (NO se admite AMD)

• RAM combinada mínima disponible por modelo:

  • MAI Code 1.1 Flash:  96 GB
  • Flint NVFP4:  48 GB

• Almacenamiento mínimo disponible por modelo:

  • MAI Code 1.1 Flash:  60 GB
  • Flint NVFP4:  23 GB

• llama.cpp v0.7.0 o posterior instalado y LLAMACPP_SERVER_PATH configurado con su ruta. Versión de compilación necesaria:

  • MAI Code 1.1 Flash: b11669 o posterior
  • Flint NVFP4: b11803 o posterior

  Consulte Instalación de llama.cpp para Windows.

Ventajas de usar MAI Code 1.1 Flash localmente

MAI Code 1.1 Flash es un modelo optimizado para codificación que puedes ejecutar localmente en tu PC con Windows. Mediante el uso de un modelo que se ejecuta localmente, puede usar Copilot sin conexión y evitar consumir GitHub AI Credits.

Después de instalar MAI Code 1.1 Flash, puede seleccionarlo en el selector de modelos, al igual que cualquier otro modelo. El modelo también pasa a estar disponible para usar el nivel de esfuerzo de Fusion Standard de Copilot Fusion. Al establecer la selección del modelo en Copilot Fusion con Fusion Standard, MAI Code 1.1 Flash se elegirá automáticamente para trabajar en las tareas adecuadas, dejando los modelos basados en la nube para las tareas que requieren más recursos o un mayor rendimiento.

Instalación de llama.cpp para Windows

Para instalar llama.cpp en Windows con la compilación CUDA:

1. En el explorador, vaya a la página de versiones del repositorio de llama.cpp: https://github.com/ggml-org/llama.cpp/releases.

2. Elija la versión que desea instalar; por ejemplo, b11803.

3. Haga clic en los vínculos para descargar ambos archivos para la compilación de WINDOWS CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • DLLs de CUDA 13.4

4. Abra el símbolo del sistema y cree la carpeta de instalación:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Reemplazar BUILD el el número de compilación, por ejemplo, b11803.

5. Extraiga todos los archivos de ambos archivos ZIP directamente en esta carpeta. Si usa Extraer todo en el Explorador de archivos, cambie el destino a esta carpeta, ya que, de forma predeterminada, el Explorador de archivos crea una subcarpeta independiente para cada archivo ZIP. Cuando haya terminado, la carpeta debe contener un gran número de archivos, incluidos llama-server.exe, cudart64_13.dll, cublas64_13.dlly cublasLt64_13.dll, sin subcarpetas.

6. Establezca la variable de entorno LLAMACPP_SERVER_PATH.

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Reemplazando BUILD el el número de compilación.

7. Cierre el símbolo del sistema y abra una nueva ventana del símbolo del sistema. Si el Copilot app o el VS Code ya está abierto, reinícielo. Si Copilot CLI se está ejecutando, salga de él e inícielo de nuevo desde una nueva ventana de terminal.

8. Para comprobar la instalación, ejecuta:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Uso del selector de modelos para instalar un modelo local

1. En una sesión interactiva local, escriba /model.

2. Busque los modelos locales admitidos en "Local y autohospedado".

   El estado se muestra como "Descarga obligatoria".

   Nota:

   Los modelos locales solo están disponibles para su descarga si el equipo local es un equipo Windows que cumple los requisitos de GPU y memoria.

3. Utilice la tecla de flecha abajo para seleccionar un modelo local y, a continuación, presione Intro.

   La CLI comprueba que el equipo cumple los requisitos de instalación. Consulte los requisitos previos enumerados anteriormente en este artículo.

4. Seleccione Descargar y configurar para empezar a descargar el modelo.

   Puede seguir usando otros modelos mientras la descarga está en curso. La CLI le notificará, en el resultado de la conversación, cuando se complete la descarga.

Uso de un modelo local

Una vez completada la descarga, el modelo local estará disponible para su uso en las sesiones.

Ustedes pueden:

• Selecciónelo en el selector de modelos y elija Seleccionar este modelo. Consulte Elección de un modelo en GitHub Copilot CLI.
• MAI Code 1.1 Flash solo: Elija Copilot Fusion, después Fusion Standard en el selector de modelos, y Copilot usará automáticamente el modelo local cuando corresponda.
• Asígnelo a un custom agent para tareas específicas. A continuación, puede pedir Copilot que use ese agente personalizado para parte de una tarea, al tiempo que mantiene la sesión principal en un modelo diferente en la nube. Consulte Creación y uso de agentes personalizados para GitHub Copilot CLI.

Ejecución en modo sin conexión

Para evitar que Copilot CLI se contacte con los servidores de GitHub (por ejemplo, para enviar datos de telemetría), establezca la variable de entorno COPILOT_OFFLINE en true antes de iniciar la CLI. Para el aislamiento de red completo, el proveedor de modelos también debe ser local o dentro del mismo entorno aislado. Consulte Autenticación de la CLI de GitHub Copilot.

Troubleshooting

• Falta un modelo de Ollama: Compruebe que Ollama se está ejecutando y que se ha descargado el modelo. Abra /model y presione Ctrl+R para volver a examinar. Para un servidor en otra máquina, configure manualmente su dirección URL de API compatible con OpenAI, incluido /v1.
• Falta un modelo guardado: Compruebe que su provider coincide con el name de un proveedor y, a continuación, reinicie la CLI. Si al agregar un modelo detectado se genera una advertencia de guardado, siga la advertencia para corregir el archivo o sus permisos.
• La configuración del entorno no tiene ningún efecto: Compruebe si providers.json, o el archivo seleccionado por COPILOT_PROVIDERS_CONFIG, ya contiene proveedores o modelos. Ese archivo tiene prioridad.
• Las solicitudes fallan: Compruebe la URL de la API, las credenciales, el nombre del modelo y la opción de API. Para Azure OpenAI, compruebe el nombre del despliegue. Para los errores sobre el tamaño de la solicitud, establezca los límites de token que se ajusten a su modelo.