Visión General

Nos complace anunciar nuestra colaboración con el proyecto LatamGPT, liderado por CENIA (Centro Nacional de Inteligencia Artificial) en Chile. Esta asociación tiene como objetivo fortalecer la investigación en IA de América Latina y contribuir al desarrollo de modelos de lenguaje diseñados específicamente para hispanohablantes y lusohablantes de la región.

LatamGPT representa un esfuerzo crítico para abordar los matices lingüísticos y culturales de América Latina que a menudo están subrepresentados en los sistemas globales de IA. A través de esta colaboración, SIMG aporta experiencia en entrenamiento eficiente de modelos (QLoRA, LoRA) y fine-tuning específico de dominio para apoyar esta importante iniciativa regional.

Objetivos de la Asociación

Nuestra colaboración con CENIA y el proyecto LatamGPT se centra en varias áreas clave:

1. Intercambio de Conocimientos

• Compartir Investigación: Intercambiar hallazgos sobre métodos de entrenamiento eficientes, arquitecturas de modelos y benchmarks de evaluación
• Mejores Prácticas: Compartir lecciones aprendidas de nuestro proyecto PhinGPT sobre fine-tuning rentable
• Talleres Técnicos: Organizar talleres y seminarios conjuntos para estudiantes e investigadores

2. Desarrollo de Modelos

• Datasets Regionales: Colaborar en la curación y procesamiento de corpus de español latinoamericano
• Marcos de Evaluación: Desarrollar benchmarks que reflejen variaciones lingüísticas regionales
• Estrategias de Fine-tuning: Aplicar nuestra experiencia en QLoRA para optimizar variantes de LatamGPT

3. Construcción de Comunidad

• Colaboración Abierta: Fomentar contribuciones de código abierto de investigadores latinoamericanos
• Participación Estudiantil: Crear oportunidades para que los estudiantes participen en proyectos regionales de IA
• Redes de Investigación: Fortalecer conexiones entre universidades de América Latina

Aspectos Destacados de la Reunión Inicial

Nuestra primera reunión oficial con investigadores de CENIA se llevó a cabo en octubre de 2024, donde discutimos:

Puntos de Discusión

• Estado Actual: Descripción general del progreso y arquitectura técnica de LatamGPT
• Contribuciones de SIMG: Presentación de nuestro trabajo en PhinGPT y métodos de fine-tuning eficientes
• Sinergias: Identificación de áreas donde nuestra experiencia investigativa se alinea con las necesidades de LatamGPT
• Próximos Pasos: Hoja de ruta para la colaboración incluyendo intercambios técnicos e investigación conjunta

Conclusiones Clave

• Fuerte alineación entre la investigación de SIMG en LLMs eficientes y las restricciones de recursos de LatamGPT
• Oportunidad de contribuir recursos lingüísticos del español colombiano al proyecto
• Interés mutuo en desarrollar variantes específicas de dominio (finanzas, derecho, educación)
• Acuerdo para mantener reuniones técnicas regulares y actualizaciones de progreso

Por Qué Importa Esta Asociación

Impacto Regional

América Latina tiene características lingüísticas únicas que difieren del español europeo:

• Variaciones de Vocabulario: Términos y expresiones específicos de la región
• Contexto Cultural: Referencias locales, eventos históricos y normas sociales
• Realidad Multilingüe: Integración con lenguas indígenas y portugués
• Brecha Digital: Necesidad de modelos eficientes que funcionen con recursos computacionales limitados

Colaboración Académica

Esta asociación fortalece el ecosistema de investigación en IA de América Latina:

• Agrupación de Recursos: Compartir datasets, recursos computacionales y experiencia
• Publicaciones Conjuntas: Potencial para artículos coautorados y presentaciones en conferencias
• Movilidad Estudiantil: Programas de intercambio y proyectos de tesis colaborativos
• Visibilidad: Aumentar el reconocimiento de la investigación en IA latinoamericana globalmente

Nuestras Contribuciones

Experiencia Técnica

SIMG aporta varias capacidades clave a la asociación:

1. Métodos de Entrenamiento Eficientes

• Implementación QLoRA: Experiencia comprobada reduciendo costos de entrenamiento en ~65%
• Escenarios de Bajos Recursos: Técnicas para entrenar con infraestructura GPU limitada
• Compresión de Modelos: Conocimiento en cuantización y poda para despliegue

2. Especialización de Dominio

• PLN Financiero: Experiencia del proyecto PhinGPT en fine-tuning específico de dominio
• Métricas de Evaluación: Marcos para evaluar el rendimiento del modelo en tareas especializadas
• Aprendizaje por Transferencia: Estrategias para adaptar modelos entre dominios

3. Filosofía de Código Abierto

• Compartir Código: Todas nuestras herramientas y scripts disponibles en GitHub
• Documentación: Guías y tutoriales completos en español
• Soporte Comunitario: Participación activa con investigadores y profesionales

Actividades Planificadas

Corto plazo (2024-2025)

• Primera reunión de colaboración completada
• Intercambio de documentación técnica
• Taller conjunto sobre entrenamiento eficiente de LLMs
• Contribución de corpus de español colombiano
• Proyecto piloto: Fine-tune de variante LatamGPT para dominio financiero

Mediano plazo (2025-2026)

• Coautoría de artículo de investigación sobre LLMs latinoamericanos
• Desarrollo de benchmark de evaluación para variantes regionales del español
• Programa de intercambio estudiantil entre SIMG y CENIA
• Solicitud conjunta de financiamiento de investigación regional
• Demo público de modelo colaborativo

Visión a Largo Plazo

• Establecer consorcio de investigación de LLMs latinoamericanos
• Crear plataforma de código abierto para desarrollo de modelos regionales
• Organizar conferencia anual sobre IA latinoamericana
• Desarrollar modelos para lenguas indígenas en colaboración con comunidades

Cómo Participar

Esta es una colaboración abierta, y damos la bienvenida a la participación de:

Investigadores

• Contribuir recursos lingüísticos (corpus, anotaciones)
• Compartir datasets y benchmarks de evaluación
• Participar en discusiones técnicas y talleres
• Colaborar en proyectos de investigación conjunta

Estudiantes

• Unirse como asistentes de investigación en proyectos colaborativos
• Proponer temas de tesis alineados con objetivos de LatamGPT
• Participar en talleres y sesiones de capacitación
• Contribuir a bases de código de código abierto

Instituciones

• Proporcionar recursos computacionales o datasets
• Organizar talleres o seminarios conjuntos
• Facilitar intercambios estudiantiles
• Apoyar solicitudes de financiamiento

Alineación Técnica

Compatibilidad de Infraestructura

Tanto SIMG como LatamGPT comparten restricciones y prioridades similares:

# Ejemplo: Configuración de fine-tuning eficiente compatible con ambos equipos
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model

# Cargar modelo base LatamGPT (cuando esté disponible)
model = AutoModelForCausalLM.from_pretrained(
    "cenia/latamgpt-base",
    load_in_4bit=True,  # Uso eficiente de memoria
    device_map="auto"
)

# Aplicar QLoRA para adaptación de dominio
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)
print(f"Parámetros entrenables: {model.num_parameters(only_trainable=True):,}")

Objetivos Compartidos

• Accesibilidad: Modelos que funcionan en hardware de grado consumidor
• Multilingüe: Soporte para español, portugués y lenguas indígenas
• Código Abierto: Acceso gratuito a modelos, datasets y código
• Enfoque Regional: Abordar contextos y casos de uso latinoamericanos

Métricas de Impacto

Haremos seguimiento al éxito de esta colaboración a través de:

Resultados de Investigación

• Número de publicaciones conjuntas
• Citas de trabajo colaborativo
• Contribuciones al código base de LatamGPT
• Datasets y benchmarks liberados

Participación Comunitaria

• Participantes en talleres
• Colaboraciones estudiantiles
• Estrellas/forks en GitHub en proyectos compartidos
• Contribuidores activos de América Latina

Rendimiento del Modelo

• Puntuaciones de evaluación en benchmarks regionales
• Adopción de usuarios y descargas
• Despliegue en aplicaciones del mundo real
• Retroalimentación de usuarios latinoamericanos

Contacto y Actualizaciones

¿Quieres aprender más o participar en esta colaboración?

• Email: Contáctanos en sitio web de SIMG
• Actualizaciones: Sigue nuestro progreso en GitHub
• Discusiones: Únete a conversaciones en nuestro Discord o comunidad de Hugging Face

Mantente atento a las actualizaciones sobre esta emocionante asociación mientras trabajamos juntos para avanzar en la investigación de IA latinoamericana y crear modelos de lenguaje que realmente representen nuestra región!