Medición de servicios reales en un entorno real para captar la verdadera experiencia de usuario

Los cambios de paradigma durante la pandemia del COVID-19 con respecto al consumo de los servicios de telecomunicaciones y el papel instrumental de la conectividad en nuestra vida diaria han demostrado la importancia de la calidad de experiencia (QoE, por sus siglas en inglés) como ventaja competitiva o diferenciador de servicios. 

La calidad de experiencia se ha simplificado y se ha relacionado comúnmente con el rendimiento de la red. Sin embargo, la percepción, satisfacción y calidad de experiencia de los usuarios finales incluyen los efectos del sistema de extremo a extremo (cliente, terminal, red, infraestructura de servicios, servidores, etc). 

Garantizar y proporcionar la mejor calidad de experiencia, tanto para servicios de banda ancha fija como móvil, es crítico. Mejorar la calidad de experiencia será un gran desafío teniendo en cuenta que algunos factores están fuera del control de los operadores de telecomunicaciones o necesitan la colaboración con actores externos de un entorno de Internet de múltiples proveedores. Es un proceso de extremo a extremo que evalúa la ruta de servicio completo entre la fuente y el destino de la comunicación.   

(ilustración en inglés) 

Esta es una de las razones principales por las que en MedUX nos tomamos en serio la medición del rendimiento desde la perspectiva del usuario final, tanto de los servicios de red como de extremo a extremo, sobre la base de indicadores objetivos y subjetivos que contextualizan y caracterizan los servicios de telecomunicaciones. 

Un término similar a QoE es QoS (calidad de servicio, por sus siglas en inglés). Entre los proveedores de servicios, operadores de redes y fabricantes de equipos, el término QoS se ha utilizado durante varias décadas [1]. La calidad de servicio se vincula con métricas de rendimiento, que son independientes de la percepción del usuario, como la capacidad, el retraso, jitter y la pérdida de paquetes, entre otros indicadores. La QoS se basa en el rendimiento técnico (es decir, se centra principalmente en la tecnología), mientras que la QoE se basa en el comportamiento del usuario final (se centra en el usuario). 

El ecosistema único de medición y análisis de MedUX propone un modelo en el que las mediciones técnicas se transforman en indicadores perceptivos teniendo en cuenta la respuesta humana a los eventos, mejoras y degradaciones del servicio de banda ancha. Nuestro objetivo es evaluar la calidad de servicio percibida por el usuario, estimar la calidad de experiencia a partir de los valores obtenidos realizando mediciones de servicios reales de extremo a extremo desde la perspectiva del usuario final en un entorno real.   

(ilustración en inglés)

En este sentido, MedUX también está trabajando en una metodología para desarrollar un modelo global de gestión de la QoS para las redes de nueva generación, aprovechando el big data y el Machine Learning. Nuestro enfoque se basa en el uso de técnicas de Machine Learning supervisadas y no supervisadas para identificar anomalías en el rendimiento de la red y el servicio, así como qué KPIs son más relevantes para los usuarios. Nuestra metodología vincula los indicadores de rendimiento con la QoE percibida y proporciona información sobre las áreas en las que se requieren acciones correctivas. 

Nuestro propósito es obtener una visión real e independiente del rendimiento de la red de banda ancha desde la perspectiva del usuario final en tiempo real, proporcionar a los operadores de telecomunicaciones y a otros actores de la industria una fuente fiable sobre cómo están funcionando realmente sus servicios de Internet, así como comparar su posicionamiento con su competencia. 

Este artículo pertenece a una serie monográfica sobre la QoE y nuestro enfoque para ayudar a los operadores de telecomunicaciones, reguladores y otras partes interesadas a comprenderlo, medirlo y mejorarlo:

1. Introducción a la metodología de medición y prueba MedUX (este artículo)
2. Metodología de benchmarking de banda ancha móvil
3. Metodología de benchmarking de banda ancha fija
4. Lanzamiento de iniciativas europeas de medición en nuevos países (RO, HU, CZ)
5. MedUX QoE Scorecard
6. Sellos, certificados y premios de QoE de MedUX (NUEVO)
7. Recopilación subjetiva de satisfacción de los clientes y NPS (NUEVO)
8. Garantía proactiva de calidad de calidad de calidad proactiva alimentada por AI/ML (NUEVO)

A continuación introducimos principios únicos de la metodología de medición y prueba de banda ancha de MedUX, que garantizan que los datos que recopilamos sean una representación verdadera y fiable del rendimiento y la experiencia reales de la red fija y móvil. Para obtener información más detallada, no dudes en ponerte en contacto con nosotros.

Introducción a la metodología de medición y pruebas de MedUX

En MedUX, medir el rendimiento de la red y los servicios significa recopilar y proporcionar información y conocimientos precisos, confiables y justos sobre la calidad de la red percibida por el cliente (QoE), al tiempo que cubre una amplia gama de servicios fijos y móviles y permite un análisis técnico profundo basado en los detalles más pequeños. 

MedUX mide con precisión tanto las redes de banda ancha fijas como móviles mediante la recopilación de una gran cantidad de indicadores clave de rendimiento (KPIs, por sus siglas en inglés) para crear grandes conjuntos de datos comparables y saber cómo funcionan realmente las redes desde la perspectiva del usuario final sin necesidad de integrarse con los operadores de telecomunicaciones. Esto proporciona una evaluación imparcial, transparente e independiente de todas las redes. 

Para este propósito, hemos desarrollado una tecnología patentada, nuestros propios dispositivos de medición -llamados MedUX HOME, para redes fijas; y MedUX MOBILE, para redes móviles- que recopilan datos independientemente de la tecnología de acceso (por ejemplo, xDSL/FTTx/HFC, Wi-Fi 5 y 6 y 2G/3G/4G/5G). Los robots plug&play de MedUX son independientes del proveedor y son compatibles con cualquier router, ya que están basados en un enfoque no intrusivo y fiable. 

Los dispositivos de prueba MedUX recopilan métricas de QoE del rendimiento de la red en tiempo real, a través de mediciones activas e independientes para comprender la experiencia real del usuario, tanto de parámetros técnicos como de servicios reales, como navegación web, streaming, gaming o almacenamiento en la nube.

Entonces, ¿cuáles son los principales beneficios y casos de uso de MedUX?

• Supervisión del rendimiento de la red y los servicios: supervisar continuamente las redes y los servicios para recopilar información relevante sobre el rendimiento y la experiencia e identificar las incidencias de la red que afectan a los usuarios finales. Podemos ayudar con la optimización de la red, solución de incidencias y desarrollo tecnológico.
• Benchmarking e inteligencia competitiva: elaborar estudios comparativos sobre el rendimiento y la experiencia de las redes y servicios de telecomunicaciones, incluida la puntuación y clasificación de tecnologías de acceso, productos comerciales. Podemos ayudar con campañas promocionales, certificaciones de calidad independientes, mejoras de redes e implementaciones de nuevas tecnologías.
• Pruebas y garantías previas al lanzamiento: ejecutar pruebas controladas y automatizadas para probar completamente las actualizaciones y versiones de la red en todos los equipos centrales o de las instalaciones del cliente, en el laboratorio, en producción antes de pruebas masivas y en la red (en vivo). Ayudamos con las pruebas e implementaciones de nuevas tecnologías.
• Evaluación y validación independiente: transformar tus capacidades de gestión y garantía del cambio de red con un rendimiento independiente del proveedor y visibilidad de la experiencia del cliente. Puede admitir implementaciones de nuevas tecnologías y la selección/negociación de proveedores a medida que evolucionan las redes.
• Cumplimiento regulatorio: obtén una medición independiente con fines regulatorios con métricas básicas de QoS (por ejemplo, velocidad contratada, disponibilidad, fiabilidad), además de  QoE, para gestionar los riesgos regulatorios, cumplimiento de las obligaciones, las quejas de los clientes y la ley de pruebas. Nuestra información es clave para proporcionar visibilidad de la calidad y el rendimiento de la red proporcionado por todos los operadores de red, y para dar forma a políticas futuras.

Todas nuestras soluciones de monitorización de calidad, evaluación comparativa, pruebas y gestión del cumplimiento están disponibles tanto para los reguladores, gobiernos y operadores de telecomunicaciones, pero personalizadas de acuerdo a sus necesidades y sus casos de uso particulares.

¿Cómo medimos?

Los análisis y la información de Big Data de MedUX proporcionan capacidades competitivas de inteligencia, gestión de servicios, optimización y monitorización, ayudando a las empresas de telecomunicaciones, los reguladores y las empresas digitales con sus desafíos de calidad de experiencia.

• Benchmarking de los servicios frente a los competidores, sin integración

MedUX ofrece servicios gestionados sin integrar robots ni ningún hardware o software en las redes de los operadores. De esta manera, MedUX garantiza la independencia de los actores de la industria, permite capacidades de benchmarking y acorta el tiempo de obtención de información y los resultados.

• Pruebas de redes de telecomunicaciones 24/7

MedUX ejecuta software preinstalado 24/7 en nuestras sondas de prueba que miden docenas de métricas de rendimiento y experiencia de banda ancha de los servicios fijos y móviles para proporcionar visibilidad histórica y en tiempo real en toda la red. Ayudamos a nuestros clientes a obtener visibilidad de los indicadores de salud de la red y del servicio desde la perspectiva del cliente final para localizar rápidamente la degradación del servicio y evaluar el impacto de los incidentes. Con los análisis y la información de MedUX, las organizaciones pueden transformar sus capacidades de supervisión de servicios para redefinir una estrategia centrada en el cliente a medida que evolucionan las redes.

• Centrarse en los servicios digitales más utilizados

El aumento de la latencia o la pérdida de paquetes y los menores rendimientos seguramente representan una mala calidad de calidad de vida. Sin embargo, la verdadera experiencia del cliente depende del servicio que el cliente esté utilizando. MedUX supervisa la calidad de los servicios más utilizados, por ejemplo, las aplicaciones OTT (Over The Top), como las redes sociales, las plataformas de mensajería, la navegación web, la transmisión de vídeo o los juegos, desde la perspectiva del usuario final. Las pruebas MedUX se centran en la capa de aplicación para ayudar a comprender el deterioro de los KPI de servicio que afectan a la percepción del usuario final.

• Obtener la verdadera experiencia del cliente relacionada con la red

MedUX proporciona una visión precisa de la calidad de servicio y su impacto en la experiencia del cliente, centrándose en la combinación de al menos los siguientes indicadores básicos de pruebas de rendimiento de la red y del servicio para identificar la calidad de servicio desde la perspectiva del usuario final: 

-Fiabilidad (tasa de éxito de las pruebas): indica cómo de consistente es una red a lo largo del tiempo, validando si la prueba se ha completado con éxito en un tiempo razonable. 

-Disponibilidad del servicio/red: indica la disponibilidad de la red y los servicios (tiempo de actividad de la red y del servicio), indicando la disponibilidad en términos de conectividad y acceso a la red desde la perspectiva del usuario final. 

-Cumplir la promesa: indica (en valor porcentual) en qué medida la Calidad del Servicio (medida de rendimiento) recibida por el usuario final coincide con la ofrecida por el Operador de Telecomunicaciones en su oferta comercial. 

-Valor de la velocidad: cuántos datos se pueden transferir (capacidad de red), emmulando la típica descarga/carga de la experiencia del cliente basada en una prueba de descarga/carga de uno y/o multihilo. 

-Accesibilidad (respuesta de respuesta de la red): cuánto tiempo se tarda en acceder a la red, mientras se observa el rendimiento de la red en términos de los parámetros de transmisión y el tiempo de respuesta (retrasos en el paquete, variación de retraso y pérdida de paquetes). 

-Servicios y experiencia OTT: 

Experiencia de navegación web (incluido el tiempo de carga web, los bits y el número de recursos) 

Transmisión de vídeo (incluida la velocidad media, el almacenamiento en búfer, las interrupciones de la transmisión y la resolución de vídeo, entre otros) 

Juegos en la nube (incluidos los indicadores de rendimiento de los servidores de juegos más importantes del mundo) 

Rendimiento del almacenamiento en la nube (incluida la disponibilidad del servicio, la velocidad de transmisión y la tasa de éxito) y el rendimiento de los OTT (Facebook, Twitter, Whatsapp).

• Recopilación de comentarios y percepciones de los usuarios

Es muy complejo inferir la experiencia del cliente basándose únicamente en los parámetros de rendimiento de la red (por ejemplo, latencia, rendimiento, pérdida de paquetes, etc.). Además de tener un alcance de pruebas amplio y centrado en el servicio, también pedimos a nuestros panelistas (colaboradores de evaluación comparativa de banda ancha fija) que participen en encuestas y califiquen a sus proveedores. 

Con esta nueva fuente de datos, podemos medir la satisfacción del cliente y los comentarios específicos de la percepción del usuario y comparar esa información con los datos de rendimiento para obtener una imagen completa de la experiencia del cliente.

• Transformar la calidad de servicio en una puntuación de calidad de calidad sintética

Nuestra puntuación de calidad de calidad de MedUX es un indicador destinado a facilitar las revisiones del rendimiento operativo y de gestión: 

– Agregar el conjunto completo de indicadores de rendimiento de la red y del servicio (KPI) en una sola puntuación de QoE. 

- Dar visibilidad de todas las estadísticas, parámetros y criterios de ponderación para garantizar una comprensión completa de los resultados y las posibles áreas de mejora. 

-Ofrecer comparabilidad en todas las dimensiones relevantes, como operador, tecnología de acceso, área geográfica u ofertas comerciales. 

Nuestro cuadro de mando utiliza modelos matemáticos totalmente personalizables para emular la evaluación subjetiva de los servicios por parte del usuario final. Básicamente, convertimos nuestros indicadores de rendimiento y servicio en varias puntuaciones de opinión de MedUX (MOS) que luego se agregan en una sola puntuación de calidad. A continuación, un ejemplo académico de pruebas subjetivas para la evaluación de Gaming QoE[2] para un conjunto de juegos bien conocidos basados en trayectorias MOS al considerar tres resoluciones (A azul 1080p, B rojo 720p y C gris 480p) y diferentes tasas de bits para diferentes juegos.   

Nuestro enfoque estadístico

Seguimos una de las formas más intensivas y precisas de medir y comprender el rendimiento de la red, que ofrece detalles y precisión inigualables de una manera rentable. MedUX recopila un amplio conjunto de datos sobre el rendimiento de Internet en muchos operadores de telecomunicaciones, geografías, tecnologías de acceso, ofertas comerciales y niveles de velocidad. 

Nuestro modelo estadístico se centra en proporcionar resultados estadísticamente representativos a nivel local, regional o nacional, o cualquier otra dimensión relevante, dependiendo de las necesidades del cliente y los requisitos de granularidad. Se trata de análisis estadístico en cuanto al número de puntos de datos necesarios para establecer una muestra estadística fiable para cada dimensión o segmento de análisis de los datos. La selección de una muestra estadísticamente significativa puede garantizar que las mediciones de calidad/QoE resultantes reflejen el verdadero rendimiento del proveedor de servicios con un cierto grado de confianza que permitirá que dicha medición sea admisible según la ley de la prueba. 

Nuestra metodología se basa en las mejores prácticas internacionales para el diseño de planes de muestra. La preocupación práctica es comprender el tamaño mínimo de la muestra y el número de dispositivos de medición para alinearlos con los objetivos del intervalo de confianza y el margen de error. 

En la evaluación comparativa y supervisión de banda ancha fija, basada en nuestra solución MedUX HOME, nuestro enfoque es similar a la medición de la audiencia de televisión (p. ej. Nielsen), un modelo inspirado en el muestreo estadístico tradicional y las normas internacionales definidas por la Unión Internacional de Telecomunicaciones (UIT) y el Instituto Europeo de Normas de Telecomunicaciones (ETSI). 

Nuestro objetivo es tener información transparente sobre el rendimiento de las redes y servicios fijos mediante la recopilación de mediciones sobre el terreno en una muestra representativa de un país determinado cuando corresponda. Utilizamos los términos "cúmulo" o "universo" para referirnos a los subsegmentos de la muestra, que comparten características o atributos específicos como el proveedor de servicios, la tecnología o el área geográfica, entre otros. El número de pruebas por área geográfica relevante y el período de tiempo, pero lo más importante es que el número de puntos de observación por grupo son los parámetros definitorios del modelo. 

Nuestro modelo de medición se basa en conceptos estadísticos tradicionales en torno a la Ley de Grandes Números (LoLN, por sus siglas en inglés) y el Teorema del Límite Central (CLT, por sus siglas en inglés). La LoLN afirma que el promedio de una muestra aleatoria de una población grande tenderá al promedio de toda la población. 

El teorema del límite central dice que la suma o el promedio de un tamaño suficientemente grande de una variable aleatoria se distribuye aproximadamente normalmente, independientemente de la distribución de la población. Estos modelos estadísticos se utilizan para definir el tamaño de la muestra, es decir, el número de puntos de observación y el número de dispositivos que se desplegarán por clúster o universo. Permite que el resultado de la medición esté dentro de los puntos X% (margen de error) de la medición media del valor real de la población durante el Y% del tiempo de acuerdo con el nivel de confianza. 

Por ejemplo, para una implementación típica con un nivel de confianza del 82 % y un margen de error del 10 % que requiere 45 puntos de observación y dispositivos que recopilan KPI de QoS/QoE cada hora significa que nuestras estadísticas estarán dentro de los 10 puntos porcentuales del valor real de la población el 90 % del tiempo. 

En la evaluación comparativa y el seguimiento de la banda ancha móvil, basados en nuestra solución MedUX MOBILE, nuestro enfoque se inspira en las normas definidas por la UIT y el ETSI.

Nuestro objetivo es tener información transparente sobre el rendimiento de las redes y servicios móviles mediante la recopilación de mediciones sobre el terreno en una muestra representativa de un país determinado. 

Nuestras metodologías de medición móvil están disponibles para reflejar la verdadera experiencia del cliente móvil:

• Pruebas en interiores y exteriores
• Pruebas de caminando y conduciendo
• Sondas desatendidas
• Recopilación de datos de colaboración colectiva
• Escenarios fijos y móviles

Cubrir un área más amplia, usar más dispositivos de medición o medir durante un período más largo podría proporcionar resultados estadísticamente más representativos del área objetivo y de la población de la región. 

Según las mejores prácticas, generalmente seguimos una metodología de dos pasos que se puede utilizar para monitorear la QoS/QoE a nivel nacional:

• Estratificación: se puede utilizar para calcular el número de áreas geográficas (por ejemplo, ciudades, municipios, pueblos, distritos o carreteras) que se cubrirán durante una campaña de medición para obtener resultados que representen la calidad de servicio de la red a nivel nacional.
• Muestreo aleatorio simple: se puede utilizar para calcular el número de mediciones a realizar en cada una de las áreas geográficas que se seleccionaron a través de métodos de muestreo.

Además de esto, también podemos utilizar pruebas de hipótesis basadas en los resultados de medición de todos los estratos para garantizar que los resultados obtenidos de la muestra seleccionada sean significativos desde una perspectiva estadística. A efectos reglamentarios, se puede utilizar para determinar si el proveedor de servicios cumple con el umbral establecido por el regulador, por lo que no se impondría ninguna sanción. 

A continuación, algunos de los estándares internacionales que inspiran la metodología MedUX:

• Recomendación UIT-T E.802 Amd.2 (06/2018), Marco y metodologías para la determinación y aplicación de los parámetros de QoS
• Recomendación UIT-T E.806 (06/2019), Marco y metodologías para la determinación y aplicación de los parámetros de QoS
• Recomendación UIT-T E.840 (06/2018), Marco estadístico para la puntuación y clasificación de los puntos de referencia de rendimiento de la red de extremo a extremo
• ETSI TR 103 559 V1.1.1 (2019-08), Calidad de transmisión de voz y multimedia (STQ); Mejores prácticas para pruebas y puntuación de referencia de calidad de servicio de red sólidas
• ETSI TS 102 250-6 V1.3.1 (2019-11), Calidad de transmisión de voz y multimedia (STQ); Aspectos de calidad de servicio para servicios populares en redes móviles; Parte 6: Procesamiento posterior y métodos estadísticos.
• ETSI EG 202 057-4 V1.2.1 (2008-07), Procesamiento de voz, transmisión y aspectos de calidad (STQ); definiciones y mediciones de parámetros de calidad de servicio relacionadas con el usuario; Parte 4: Acceso a Internet

Sobre MedUX

MedUX es una empresa multinacional española especializada en la medición, supervisión y mejora de la experiencia del usuario y la calidad de las redes de telecomunicaciones, fijas, móviles y de televisión. 

Fundada en 2014, la empresa tiene presencia en más de 20 países, principalmente en Europa y América Latina, pero también en África y Oriente Medio. Además, cuenta con un equipo de aproximadamente 50 personas en su sede en Madrid (España) y oficinas en Miami (EE. UU.), Bogotá (CO), Ciudad de México (MEX), San José (CR) y Zaragoza (España). 

Hoy en día, la compañía supervisa y compara los servicios y la experiencia del usuario de más de 60 operadores de todo el mundo, y sus clientes incluyen grandes grupos de telecomunicaciones nacionales e internacionales, como Vodafone, Orange, Telefónica, Millicom, AméricaM vil/Claro y AT&T, y entidades gubernamentales, como Mineco (España), SUTEL (Costa Rica), TRA (EAU), SIGET (El Salvador) y CRC (Colombia).

MedUX siempre está trabajando para mejorar la calidad del servicio y la calidad de la experiencia del usuario, especialmente en un momento en el que las telecomunicaciones y el rendimiento de la red son más importantes que nunca. Póngase en contacto con nosotros en hello@medux.com si necesita más información o solicita nuestra demostración para averiguar cómo puede obtener visibilidad de extremo a extremo de la red e información en tiempo real y estadísticas de rendimiento, para anticipar y abordar los problemas de la red.

Let’s keep improving Customer Experience in the 5G Era!

 [1] First definitions by the ITU in “E.800 : Quality of service and dependability vocabulary” ITU-T Approved in 1988-11-25.

 [2] Sergio Pezzulli, Maria G. Martini, Senior Member, IEEE, Nabajeet Barman, Member, IEEE, “Estimation of Quality Scores From Subjective Tests-Beyond Subjects’ MOS”, July 2020,