Generación de un modelo de calidad para la evaluación de Objetos de Aprendizaje utilizando notación i* e ISO/IEC 25010

1. Introducción

Los Objetos de Aprendizaje (OA) son recursos digitales o unidades didácticas que permiten el apoyo del aprendizaje, los cuales son independientes, autónomos, reutilizables según su contexto, mantienen una estructura y son autocontenibles, así mismo son localizables gracias a sus metadatos (Maldonado, J., & Astudillo, G. 2014). Sin embargo, cómo evaluar la calidad de este tipo de materiales educativos es un reto que aún sigue abierto.

La calidad de un OA puede ser evaluada desde diferentes perspectivas. Desde el punto de vista de su producción o desde el punto de vista como producto (Lavín, Del Solar, Fischer, & Ibarra, 2002). Los modelos de calidad son importantes puesto que permiten medir la integración de distintos tipos de componentes. Para el caso de los OA elementos tecnológicos y didácticos. Grandes son los retos a la hora de evaluar el contenido y material creados que forman parte de MOOCs (Yamba y Luján, 2017) o cursos virtuales (Cedillo y otros, 2018) orientados a diferentes públicos.

Para medir la efectividad de los OA se han definido modelos de calidad orientados a evaluar la parte tecnológica. Por ejemplo, LORI (2003), APROA (2004), COdA (2012) o HEODAR (2005) entre otros son ejemplos de modelos desarrollados para evaluar la calidad de los OA. Sin embargo, algunos de estos modelos han dejado de lado componentes como el pedagógico o inclusive el didáctico. Es por esta razón que no se encuentran modelos que puede generalizar un artefacto con el propósito de poder medir la calidad de los OA de forma integral.

El objetivo de este trabajo es definir un nuevo modelo de evaluación de calidad de OA basándose en los modelos ya planteados, pero agregando como propuesta una matriz con atributos y métricas de evaluación que no han sido consideradas previamente. El nuevo modelo responde a la necesidad que los modelos actuales se enfocan a aspectos distintos (p.e. tecnológico, pedagógico) sin que hayan sido integrados en un modelo que recoja los aspectos tecnológicos y didácticos en un solo artefacto bajo los nuevos cambios tecnológicos que han surgido con el paso del tiempo.

Para lograrlo, se han considerado de forma prioritaria los ámbitos tecnológicos y didácticos ya que son los principales pilares y están directamente vinculados con la estructura de un OA, es decir en estos parámetros son relevantes para la construcción del material.

El artículo tiene la siguiente estructura. La Sección 2 presenta la metodología con la cual fue construido el nuevo modelo de calidad, la Sección 3 indica los resultados obtenidos con la matriz de calidad generada y la Sección 4 presenta las conclusiones a las que se llegó con la obtención de los resultados al evaluar un OA de ejemplo.

En este artículo inicialmente se describe el método utilizado para la generación del modelo de calidad, luego se hace una revisión de la bibliografía para extraer las características de varios modelos ya desarrollados, y realizar un análisis e identificar los actores que están directamente vinculados con el OA para a continuación determinar todas las características y atributos de los diferentes modelos y conceptos extraídos en la matriz resultante.

Al final hay que agregar una línea que indique cual es el aporte de este artículo para los investigadores.

2. Metodología

Para la elaboración del modelo de calidad para la evaluación de un OA se utilizó el método Individual Quality Model Construction (IQMC) (Carvallo, Franch, 2003). Este método permite construir de manera iterativa e incremental modelos de calidad para distintos dominios de software, partiendo de un catálogo inicial, en este caso el propuesto en el estandar ISO/IEC 25010. La determinación de las diferentes características, subcaracterísticas, atributos y métricas, que conforman el nuevo modelo de calida para los OA, incluye las propiedades de calidad identificadas en la literatura, así como también en los nuevos parámetros detectados a base de cada uno de los actores vinculados en el modelo Diagrama de Dependencias(SD). El metodo IQMC incluye los siguientes pasos:

Determinación de características de calidad de alto nivel.

Determinación de subcaracterísticas de calidad.

Determinación de atributos derivados.

Determinación de atributos básicos.

Establecimiento de relaciones entre factores de calidad.

Determinación de métricas para los atributos.

A continuación, se describe el proceso de construcción del modelo de contexto para la evaluación de calidad de un OA, considerando las etapas propuestas en el método IQMC, así como las diferentes características del estándar ISO/IEC 25010 (Paulsson & Naeve, 2007) retroalimentado con los diferentes criterios, que han sido identificados en el modelo de contexto definido para los OA. Todas las características y atributos son enmarcados en los aspectos tecnológicos y didácticos.

La revisión bibliográfica abarcó la búsqueda de definiciones y conceptos de un OA. Posteriormente se investigaron trabajos propuestos por los autores vinculados con las definiciones de OA, verificando si estos desarrollaron métodos o modelos de evaluación para los mismos. De esta manera se fueron abstrayendo características o atributos que los OA deben cumplir en los ámbitos tecnológico y didáctico.

En la Figura 1 se indican los pasos que bajo IQMC se han seguido para obtener la matriz resultante de calidad para OA, cada uno de estos pasos se detallan en esta sección.

Fig. 1:

Pasos realizados para la generación de la matriz de calidad de OA

2.5. Determinación de métricas

En la matriz generada se asignó la métrica “True” (para casos en los que el OA cumpla con la característica. Ej. Dispone bibliografía para reforzar conocimientos) o False (para el caso que no cumpla). Cuando se trata de un porcentaje se lo presenta en forma decimal para poder contabilizarlo.

Tabla 5

Dependencias estratégicas para la evaluación de un OA

Actor	Criterio	Tipo de objetivo	Actor 2
Estudiante	Accesibilidad	Quality	OA
	Adaptabilidad	Quality
	Adecuación a los destinatarios proporcionada	Quality
	Conexión a redes sociales proporcionada	Goal	OA
	Contenido comprensible	Quality
	Elementos de guía proporcionados	Goal
	Multimedia inteligible	Quality
	Traducciones realizadas	Goal
	Métodos abreviados utilizados	Goal
Autor	Recursos de audiovisuales gestionados	Goal
	Ayudas y menús contextuales proporcionados	Goal
	Backups requeridos	Goal
	Errores gestionados	Goal
	Interfaces de presentación gestionadas	Goal
	Trabajo colaborativo gestionado	Goal
Especialista en plataformas educativas	Interoperabilidad	Quality
Evaluador	Aprobación proporcionada	Goal
	Evaluaciones gestionadas	Goal
	Apego al estándar SCORM	Resource
	Tiempo en el mercado proporcionado	Goal
	Utilización de estándares	Quality
Docente	Actividades de reflexión, crítica e innovación brindadas	Goal
	Aspectos didácticos	Quality
	Aspectos pedagógicos	Quality
	Contenido gestionado	Goal
	Contenidos evaluados	Goal
	Lenguaje correcto	Quality
	Lenguaje sencillo	Quality
	Participación activa	Quality
	Recursos y alianzas gestionados	Goal
Herramienta	Accesos gestionados	Goal
	Ambientes gestionados	Goal
	Cuestionarios online proporcionados	Goal
	Duración OA requerido	Goal
	Encriptación gestionada	Goal
	Errores de usuario gestionados	Goal
	Sentencias ejecutadas	Goal
	Sistema Operativo utilizado	Goal
	Usuarios gestionados	Goal
Equipo	Espacio en disco requerido	Goal
	Rendimiento requerido	Goal
	Tiempo de carga requerido	Goal
	Tiempo de ejecución realizado	Goal
	Tiempo de login requerido	Goal
	Uso CPU requerido	Goal
	Uso de red requerido	Goal
	Uso dispositivos E/S requerido	Goal
	Uso GPU requerido	Goal
Uso RAM requerido	Goal

Es así que la matriz final contiene 249 métricas para la evaluación de calidad del OA. La Tabla 6 presenta un fragmento del modelo para evaluación de calidad con el extracto de las características y atributos correspondientes a la sección de Completitud de la implementación.

Tabla 6

Asignación de métricas

Fig. 2:

Identificación de actores con sus respectivos atributos a evaluarse

3. Resultados

Luego de construir la matriz de evaluación y asignar las métricas descritas, se consideró un OA, el mismo que ha sido obtenido de un repositorio de OA (ROA) para la evaluación y efectos de demostración. En la Tabla 7, se presenta un fragmento de la evaluación del OA, considerando las características, atributos y métricas establecidas.

Bajo todos los criterios y parámetros establecidos en los ámbitos tecnológicos y didácticos, el OA obtiene cumple con 47 de los 249 criterios de evaluación completando así un 18,88%, desglosado en la Tabla 8, según la categorización de la ISO/IEC 25010:

4. Conclusiones

Actualmente los OA se están difundiendo de diferentes maneras, pero se debe considerar el hecho que los OA deben estar verificados para así garantizar su calidad. Este nuevo modelo de calidad permite tanto a técnicos como docentes tener una visión clara de cómo está el trabajo plasmado en un OA para la transmisión de conocimientos y el correcto funcionamiento del mismo, permitiendo así la mejora del material que se utilice para impartir conocimientos. Los parámetros de evaluación de OA enmarcados en calidad de modelos existentes, han sido considerados de los diferentes trabajos al respecto, donde se indican características básicas que debe tener un OA.

A base de los conceptos descritos por cada uno de los autores con relación a los OA, además de cada uno de los conceptos dentro de los modelos de aprendizaje tanto técnicos como educativos, se han extraído las características más relevantes tanto en el ámbito tecnológico como didáctico para la evaluación de OA. Así mismo se ha utilizado el método IQMC para desarrollar un modelo de dependencias estratégicas que vincula a todas las características recopiladas en la bibliografía. Finalmente se generó la trazabilidad entre cada uno de los actores del modelo mediante i* que presentaron sus Goals y Qualities dentro de las características y atributos en la matriz ISO 25010.