Estudio de Calidad Web de la Industria de AFPs para el Regulador de Pensiones de Chile

Visión General

Entre 2019 y 2022, lideré dos rondas completas de estudios de calidad web y móvil comisionados por la Superintendencia de Pensiones — el regulador gubernamental que supervisa el sistema de pensiones de Chile. El objetivo fue evaluar las plataformas digitales de cada administradora de fondos de pensiones (AFP) activa en Chile y establecer un benchmark oficial de la industria.

El sistema de pensiones chileno es obligatorio para todos los trabajadores formales, lo que convierte a las plataformas AFP en servicios esenciales utilizados por millones de personas. El regulador necesitaba un marco de evaluación objetivo y estandarizado para evaluar y comparar la calidad en toda la industria — y para responsabilizar a las administradoras por mejorar sus experiencias digitales.

AFPs Evaluadas

• AFP Provida (MetLife)
• AFP Cuprum (Principal Financial Group)
• AFP PlanVital (Generali Group)
• AFP Habitat
• AFP Capital
• AFP Modelo
• AFP UNO (incorporada en la Ronda 2)

Rondas del Estudio

Metodología

Desarrollamos un marco de evaluación integral que combinó mediciones cuantitativas con análisis cualitativos, aplicado de forma consistente en todas las AFPs y ambas rondas para permitir comparaciones significativas:

Evaluación Experta

• Análisis Heurístico: Evaluación contra principios estandarizados de usabilidad — 32 heurísticas más 22 criterios de buenas prácticas en la Ronda 1, expandido a un marco de 41 principios en la Ronda 2
• Paseo Cognitivo: Simulación experta del comportamiento del usuario en tareas críticas, documentada con grabaciones de pantalla
• Evaluación de Accesibilidad: Análisis de cumplimiento de estándares internacionales WCAG
• Documentación de Flujos: Mapeo detallado de los flujos de usuario por AFP para cada tarea crítica

Testeos con Usuarios

• Pruebas de Usabilidad Basadas en Tareas: 10-15 sesiones moderadas por AFP, evaluando siete tareas críticas:
  • Recuperación de contraseña de acceso
  • Recuperación de clave de seguridad
  • Solicitud de clave de seguridad
  • Cambio de fondos
  • Distribución de fondos
  • Visualización del saldo de cuenta
  • Inicio de solicitud de pensión
• Recolección de Métricas: Tasa de éxito, tiempo de completación, facilidad de uso percibida
• Encuestas Post-Tarea: Satisfacción y probabilidad de recomendación
• Grabación en Video: Todas las sesiones grabadas para reportes basados en evidencia

Indicador de Calidad Web

Desarrollamos un Indicador de Calidad de Servicio Web propietario que combinaba cinco dimensiones en un puntaje comparable:

• Calidad técnica (de evaluaciones expertas)
• Calidad percibida (de testeos con usuarios)
• Eficiencia del usuario (tiempo para completar tareas)
• Efectividad del usuario (tasas de éxito en las tareas)
• Satisfacción (calificación post-tarea)

Este indicador se convirtió en el benchmark oficial utilizado por la Superintendencia para comparar y hacer seguimiento de la calidad en toda la industria de pensiones de Chile.

Escala y Entregables

A lo largo de ambas rondas, este proyecto produjo:

• ~140 sesiones moderadas de testeo en ambas rondas — 10 por AFP en la Ronda 1 (~60 en total) y 88 sesiones grabadas en la Ronda 2 (81 completadas), todas con documentación en video
• 65+ entregables: informes detallados por AFP, reportes de paseos cognitivos, reportes de testeos de usabilidad, presentaciones y videos resumen
• 2 informes de benchmark de industria para la Superintendencia de Pensiones
• 11 reuniones formales y sesiones de capacitación con el regulador durante la Ronda 2 (octubre 2021 – abril 2022)
• Sesiones de capacitación para transferir conocimiento metodológico al equipo de la Superintendencia
• Documento de buenas prácticas estableciendo estándares de la industria
• Resúmenes de hallazgos por AFP utilizados en reuniones intermedias con stakeholders

Hallazgos Clave

Nuestra investigación reveló patrones consistentes en toda la industria:

• Confusión de Autenticación: Los usuarios constantemente tenían dificultades para diferenciar entre contraseñas de acceso y claves de seguridad, convirtiendo la recuperación de credenciales en uno de los flujos con más errores en todas las plataformas.
• Complejidad en Gestión de Fondos: Los procesos para cambiar y distribuir fondos de jubilación utilizaban modelos de interacción inconsistentes, con tasas de éxito que variaban ampliamente entre AFPs.
• Barreras en Solicitud de Pensión: Iniciar la solicitud de pensión fue la tarea más problemática en toda la industria, con aproximadamente la mitad de los usuarios incapaces de completarla exitosamente (49% de tasa de éxito promedio).
• Brechas en Experiencia Móvil: Las tareas en dispositivos móviles mostraron tasas de éxito 15–20% más bajas comparadas con escritorio, particularmente para operaciones complejas.
• Deficiencias de Accesibilidad: El promedio de cumplimiento de accesibilidad en la industria estaba por debajo del 45%, siendo los problemas de contraste y compatibilidad con lectores de pantalla las fallas más comunes.
• Patrones de Diseño Inconsistentes: Muchas AFPs tenían diferentes diseños visuales y de interacción para diferentes secciones de sus plataformas, rompiendo las expectativas de los usuarios al cambiar los patrones de navegación.

Soluciones e Impacto

Para cada AFP, desarrollamos hojas de ruta de mejora personalizadas con recomendaciones priorizadas:

1. Simplificación de Autenticación — Gestión de credenciales más clara, ayuda contextual y rutas de recuperación simplificadas
2. Rediseño de Tareas — Patrones de interacción estandarizados para tareas complejas, procesos de múltiples pasos simplificados
3. Arquitectura de Información — Navegación alineada con modelos mentales de los usuarios, terminología consistente y revelación progresiva
4. Optimización Móvil — Flujos críticos adaptados para pantallas pequeñas con interfaces táctiles amigables
5. Mejoras de Accesibilidad — Ratios de contraste más altos, compatibilidad con lectores de pantalla y navegación alternativa

Impacto Longitudinal

Al comparar los resultados de la Ronda 1 y la Ronda 2, observamos mejoras medibles a nivel de industria:

• El promedio del Indicador de Calidad de Servicio Web subió de 6,74 a 7,96 (sobre 10)
• El cumplimiento heurístico mejoró de 77,2% a 78,1% en las plataformas
• Los tiempos promedio de completación de tareas disminuyeron y la satisfacción reportada por los usuarios aumentó
• La brecha de desempeño entre las AFPs con mejor y peor puntaje se redujo significativamente

El enfoque de benchmarking competitivo resultó especialmente efectivo — las AFPs que podían ver cómo se comparaban con sus pares estaban más motivadas a implementar mejoras.

Lecciones Aprendidas

1. El Regulador como Cliente: Trabajar para el regulador le dio al estudio una autoridad que compromisos individuales con AFPs no habrían tenido. El benchmark creó competencia saludable y rendición de cuentas.
2. Valor Longitudinal: Dos rondas de evaluación revelaron cómo las mejoras en un área a veces creaban problemas inesperados en otras, y permitieron hacer seguimiento de si las recomendaciones se implementaron realmente.
3. Metodología Mixta: Combinar evaluación experta con testeos de usuario proporcionó una visión integral que ningún enfoque podría ofrecer por sí solo. Los paseos cognitivos predijeron muchos de los problemas luego confirmados por los testeos.
4. Transferencia de Conocimiento: Capacitar al equipo del regulador para interpretar los resultados del benchmark aseguró que el marco perdurase más allá de nuestra participación directa.
5. Tareas Estandarizadas: Usar el mismo conjunto de tareas en todas las plataformas permitió comparaciones significativas entre AFPs e identificación de mejores prácticas.