Notes

Cómo usar pruebas de confiabilidad para determinar la confiabilidad de las herramientas de evaluación
Las pruebas de confiabilidad se utilizan para determinar la confiabilidad de las herramientas de evaluación. En el mundo científico, la confiabilidad puede describirse como la correlación entre dos versiones equivalentes de la misma prueba. Cuando dos herramientas de evaluación miden lo mismo, se utiliza la confiabilidad de formularios paralelos para determinar su correlación. También se usan múltiples versiones de una prueba en el campo de la evaluación porque ayuda a evitar que los encuestados repitan las respuestas de la memoria. Sin embargo, en algunos casos, estos métodos pueden no ser confiables por la misma razón.
Consistencia interna

Una forma de medir la consistencia interna es a través del método de mitad dividida. Esto implica crear una prueba con dos secciones muy similares. Ambas secciones de la prueba deben investigar el mismo dominio de conocimiento, y si hay una correlación débil entre las dos mitades, la prueba no es confiable. Este método es una opción común para medir la confiabilidad de una prueba. Aquí hay tres ejemplos de pruebas basadas en la confiabilidad de la mitad dividida.

Una prueba que mide la consistencia interna de sus resultados puede clasificarse como alta o baja, pero esto generalmente no se recomienda. La alta consistencia interna, por otro lado, puede no ser confiable si se usa para medir la confiabilidad de otros métodos. Debido a esto, se necesitan técnicas sofisticadas para medir esta métrica. Cronbachs Alpha es una de esas pruebas, que calcula la correlación de dos o más grupos de ítems en un estudio y da una puntuación entre cero y uno. El coeficiente de consistencia interna de las pruebas a menudo está relacionado con sus criterios de validez.
Fiabilidad entre

Las pruebas de confiabilidad entre evaluadores evalúan la consistencia de los resultados de diferentes evaluadores. Las pruebas usan la estadística de Kappa para determinar el acuerdo. En este caso, dos codificadores seleccionaron respuestas de dos cuadros de elección, y su acuerdo fue medido por el coeficiente Kappa. Se puede administrar un cuestionario estandarizado utilizando los mismos elementos codificados, lo que permite a los investigadores evaluar la confiabilidad entre evaluadores. Los datos recopilados son a menudo una muestra de toda la población.

Cuando dos evaluadores califican la misma muestra de escritura, se les asigna un valor de kappa. Una calificación de 5 es alta de acuerdo, mientras que un puntaje de dos es bajo. El valor general de Kappa de 0.672965 indica que el acuerdo de los evaluadores era más común que el azar. Es estadísticamente significativo, pero aún por debajo del umbral aceptable de 0.75. Por lo tanto, los resultados de la prueba no son definitivos.
Confiabilidad de la mitad dividida

Una prueba para la confiabilidad de la mitad dividida es una prueba estadística que compara los resultados de dos secciones de una prueba. El procedimiento divide cada elemento en mitades y calcula los puntajes por separado. La consistencia interna entre las dos mitades se evalúa utilizando la fórmula de Spearman-Brown. Si los puntajes están altamente correlacionados, la prueba se considera confiable en la mitad dividida. La otra mitad no se considera confiable en la mitad dividida.

La prueba de confiabilidad de la mitad dividida se utiliza para determinar la consistencia interna de una encuesta. Utiliza una fórmula llamada Profecía Spearman-Brown para comparar la confiabilidad de las encuestas y cuestionarios totales. Las pruebas de confiabilidad de la mitad dividida son particularmente útiles para medir la consistencia interna de las pruebas psicológicas. También se pueden utilizar para comparar la consistencia de las calificaciones de una sola prueba entre múltiples sujetos. La confiabilidad de las pruebas de mitad dividida también se puede comparar en múltiples cohortes.
Tiempos de falla esperados

Los tiempos de falla esperados de una prueba se pueden calcular utilizando la gráfica de tiempos de falla esperada. Los tiempos de falla se determinan trazando la media y la varianza del tiempo predicho de fallas y el tiempo de falla real para una unidad de prueba. También se puede calcular un tiempo de falla esperado utilizando una prueba de fallas cero o estimando la probabilidad de una falla dada antes de que finalice la prueba. Hay varios pasos que debe seguir para generar un diagrama de tiempo de falla esperado.

Una forma de calcular los tiempos de falla esperados es usar el tamaño de la muestra y la distribución de falla supuesta de la unidad de prueba. Esto le dará una estimación aproximada de la probabilidad de una falla, que luego puede usarse para calcular las métricas de confiabilidad. El uso de este método es muy simple y se puede aplicar en una variedad de situaciones. Por ejemplo, un sistema puede consistir en tres subsistemas, y la prueba debe determinar cómo funciona cada uno.
Probabilidad de éxito de la misión

Se puede calcular una probabilidad de falla de la misión utilizando el requisito de confiabilidad probabilística. Usando una fórmula estadísticamente válida, la probabilidad de falla de la misión puede convertirse en MTBF. Por ejemplo, un 62.5 MTBF significaría una probabilidad del 75% de completar una misión de 18 horas sin falla. La ecuación para esta conversión se proporciona en la página vinculada, junto con las discusiones sobre la validez de la fórmula. El uso del requisito de confiabilidad probabilística es una parte esencial del análisis de confiabilidad.

El método convencional de evaluación de confiabilidad es el tiempo medio simple entre fallas o SMTTF. La probabilidad de éxito de la misión es una métrica más precisa para los sistemas operativos. También es aplicable en una prueba donde el sistema de prueba se simula como un misil de crucero activo sin guerra. Esto permite un estudio de la fiabilidad de los misiles operativos en función de su tiempo medio entre fallas. Este enfoque tiene varias ventajas.
Métodos para evaluar la confiabilidad

Existen una variedad de métodos para evaluar la confiabilidad de los instrumentos de medición. Varios libros de texto sobre investigación de marketing explican las diferentes técnicas, y los artículos recientes han discutido algunos de ellos. El procedimiento apropiado depende del tipo de investigación que se realiza. Un estudio de investigación que involucra el uso de múltiples mediciones debería evaluar tanto la consistencia interna como la confiabilidad de prueba-retest. El investigador debe centrarse en métodos que puedan mejorar la calidad de los datos. Por ejemplo, incorporar una opción de no saber o preguntas especiales puede mejorar la calidad de los datos de respuesta. Además, se les puede pedir a los encuestados que indiquen el grado de certeza que tienen para los juicios que hacen. Dependiendo del nivel de incertidumbre, los encuestados pueden ser excluidos del análisis posterior. Una correlación entre las puntuaciones de certeza y la confiabilidad de prueba-retratación a menudo se usa para probar la eficacia de estos métodos.

El método más utilizado para evaluar la confiabilidad es la prueba-retest. Esto implica administrar una medida al mismo grupo dos veces y comparar los resultados. De esta manera, se puede determinar la confiabilidad de un instrumento de evaluación. El coeficiente de confiabilidad Test-Retest se deriva graficando los resultados en un diagrama de dispersión y calculando el coeficiente de correlación. Del mismo modo, la confiabilidad entre evaluadores es otro método para evaluar la confiabilidad. En este método, diferentes evaluadores obtienen el mismo elemento, y se comparan los resultados de las dos pruebas . La fiabilidad entre evaluadores generalmente se determina por porcentaje de acuerdo.
My Website: https://godotengine.org/qa/user/knudsenspivey0