Traducido del inglés al español - www.onlinedoctranslator.

com

Conferencia de trabajo IEEE 2017 sobre visualización de software

GRAMOETAVIZ: Generación de cambios estructurales, conductuales y

Vistas evolutivas de los sistemas de software para
Evaluación empírica
david baum∗, Jan Schilbach∗, Pascal Kovacs∗, Ulrich Eisenecker∗y Richard Muller∗
∗Instituto de Sistemas de Información
universidad de leipzig,
{baum, schilbach, kovacs, eisenecker, rmueller}@wifa.uni-leipzig.de

Resumen—Las visualizaciones de software se utilizan para ayudar a las enfoque para optimizar las visualizaciones de información relacionadas con la
partes interesadas en las actividades de ingeniería de software, como el legibilidad, la comprensibilidad y la satisfacción del usuario [6].
desarrollo, la gestión de proyectos y el mantenimiento. Las tareas respectivas
En este trabajo presentamos GETAVIZ, un conjunto de herramientas
determinan qué aspectos del software, es decir, información estructural, de
comportamiento y/o evolutiva, necesitan ser visualizados. Para promover el que sustenta el marco teórico para la evaluación de la visualización de
uso de visualizaciones de software, deben respaldar de manera óptima las software [3] con las herramientas para realizar estas evaluaciones.
necesidades de las partes interesadas respectivas para la tarea específica en Proporciona soporte de herramientas para el proceso completo de
cuestión. Por lo tanto, vemos la necesidad de crear visualizaciones diseño y evaluación de visualizaciones de software, incluida la
innovadoras y optimizar las existentes. Para lograr esto, es necesario evaluar
generación automática de visualizaciones específicas de roles y tareas.
empíricamente las diferentes visualizaciones y sus variantes. En este artículo
presentamos GETAVIZcomo un conjunto de herramientas para respaldar estos
II. GRAMOETAVIZ
procesos, es decir, diseñar visualizaciones, generar visualizaciones específicas
de tareas y funciones, y realizar evaluaciones empíricas. El conjunto de El principal objetivo del conjunto de herramientas presentado es realizar
herramientas implementa el concepto de visualización de software generativa
evaluaciones empíricas local y remotamente de manera eficiente y
y basada en modelos y hace posible generar diferentes visualizaciones para
reproducible para diferentes metáforas de visualización, así como sus
los tres aspectos del software. Su fuerza radica en su adaptabilidad, de modo
que se pueden implementar fácilmente nuevas visualizaciones y variaciones variantes. Se debe respaldar el proceso completo, desde el diseño de una
de las existentes. Además del generador, este conjunto de herramientas visualización de software específica para tareas y roles hasta su evaluación
contiene varios extractores para diferentes lenguajes de programación, una empírica. Para lograr esto, hemos desarrollado múltiples herramientas y las
interfaz de usuario basada en navegador para ver visualizaciones e interactuar
hemos integrado en un conjunto de herramientas como se muestra en la Fig.
con ellas, y un servidor de evaluación para facilitar la ejecución de
1. Consta de 1) extractores para diferentes lenguajes de programación y
experimentos locales y remotos. El documento ilustra las capacidades de G
ETAVIZ sistemas de control de versiones, 2) un generador de visualización de software
y discute los planes para su desarrollo posterior. generativo y basado en modelos, 3 ) una interfaz de usuario basada en
Términos del Índice—3D, proceso de evaluación, evaluación empírica, navegador para ver e interactuar con una visualización, y 4) un servidor de
visualización de software, interfaz de usuario, metáfora de visualización evaluación para simplificar y estandarizar las evaluaciones empíricas. Todo el
conjunto de herramientas se demuestra en un screencast adicional.1A
yo yoNTRODUCCIÓN continuación, describimos los componentes individuales del conjunto de
herramientas.
La investigación de visualización de software ha producido muchas
propuestas para apoyar y mejorar las actividades y tareas de ingeniería de tercero miEXTRACTORES
software. Sin embargo, todavía existe una gran brecha entre la investigación y
El generador toma uno de los tres modelos independientes del
la práctica. La mayoría de los resultados de la investigación no son utilizados
idioma como entrada, por lo que todo el proceso de generación es
por los profesionales [1], [2]. Las razones para esto son múltiples. Creemos
independiente del idioma. La familia de metamodelos FAMIX 3.0 consta
que una de las razones de esta situación es la falta de conocimiento, cuándo
de tres metamodelos diseñados originalmente para el análisis de
usar qué visualización.
software [7]: FAMIX como base para modelar aspectos estructurales,
Para obtener este conocimiento faltante, Müller et al. [3] adaptó el DYNAMIX para agregar aspectos de comportamiento [8] y HISMO para
trabajo de Munzner et al. [4], [5] al campo de la visualización de software agregar aspectos evolutivos de los sistemas de software [9 ]. Todos los
y propusieron un marco teórico para la evaluación de visualizaciones de metamodelos son adecuados para lenguajes de programación
software. El marco toma los diferentes factoresusuario,tarea,artefacto estructurados y orientados a objetos.
de software,representación,navegación e interacción, yimplementación Para generar los modelos reales, utilizamos extractores
en cuenta. Apoya a los investigadores en el diseño y la planificación de dependientes del idioma. Actualmente existen extractores
evaluaciones empíricas. Para llevar a cabo estudios empíricos de manera FAMIX para Java, Ruby, ABAP y C-, extractores DYNAMIX para
eficiente, se necesita un proceso de evaluación adaptable, así como una Java y Ruby, y extractores HISMO para git y SVN.
amplia cobertura de herramientas para este proceso. Por lo tanto,
ampliamos el trabajo anterior sobre un modelo centrado en el usuario. 1https://youtu.be/OOEQNhyTrLo

978-1-5386-1003-9/17 $31,00 © 2017 IEEE 114

DOI 10.1109/VISSOFT.2017.12
 Fig. 1. Descripción general del conjunto de herramientas y sus técnicas de implementación

IV. GRAMOENERGADOR La figura 2 muestra una variante de cada metáfora. Cada metáfora se
puede modificar de varias maneras, por ejemplo, agregando
El generador de visualización de software admite la visualización
información a la visualización o eliminando información de ella como se
independiente del lenguaje en 2D y 3D de los tres aspectos de los
muestra para la metáfora RD en la Fig. 3 o usando diferentes
sistemas de software, es decir, estructura, comportamiento y evolución
animaciones, algoritmos de diseño o canales visuales, como color,
[10]. Está diseñado para ser altamente flexible y fácilmente extensible,
forma , inclinación y tamaño [15] como se muestra en la figura 4 para la
por ejemplo, para volver a implementar visualizaciones de diferentes
metáfora de la ciudad. A continuación, describimos la metáfora RD y
investigadores para integrarlas en un proceso unificado de evaluación
algunas variantes para mostrar la adaptabilidad y la integridad de
empírica. GRAMOETAVIZya admite múltiples metáforas de visualización,
nuestro enfoque de visualización.
variantes por metáfora y formatos de salida como se describe en las
siguientes secciones. 1) Visualización de estructura RD:La metáfora de RD muestra todos
los aspectos estructurales importantes del sistema de software, incluidos
A. Metáforas y variantes admitidas paquetes, clases, métodos y atributos [16]. Los glifos utilizados por la

Actualmente, G.ETAVIZadmite cuatro metáforas principales de metáfora son discos, anillos y segmentos anidados. El anidamiento

visualización, denominadasDisco recursivo (RD),Ciudad,Planta, y representa las relaciones de contención de las entidades de software

Metáfora multiesfera(cf. Figura 2). Estas metáforas se visualizadas.

implementaron como parte de un proyecto de investigación que En esta variante, la metáfora RD es bidimensional. Por lo tanto, la
compara visualizaciones de software en 2D, 3D y realidad virtual. tercera dimensión se puede utilizar para transmitir más
Dado que existe un debate en curso sobre la utilidad y la necesidad información sobre las entidades representadas por los glifos. Una
de la tercera dimensión en la visualización de información [11]–[13], posible variante se representa en la Fig. 3(a). Aquí, la altura de los
creemos que es importante admitir 2D y 3D por igual. métodos muestra la complejidad ciclomática de los métodos.
Reimplementamos la metáfora de la ciudad de Wettel y Lanza [14] (cf. 2) Visualización del comportamiento de RD:La metáfora de RD
Fig. 2(a)) para evaluar la metáfora de RD (cf. Fig. 2(b)) frente a esta también se puede utilizar para visualizar el comportamiento de un
visualización establecida. La metáfora de la planta (cf. Fig. 2(c)) es una sistema de software [17]. En la Fig. 3(b), los glifos colocados sobre la
metáfora del mundo real que visualiza la misma información que un base son llamadas a métodos de un rastro. La posición de los glifos
macizo de flores, donde los estambres y los pétalos representan muestra la hora de inicio de la llamada en el trazo y su altura está
métodos y atributos de una clase. La metáfora de la Multiesfera (cf. Fig. determinada por su duración.
2(d)), por el contrario, es una metáfora abstracta que representa la 3) Visualización de la evolución de RD:También el tercer aspecto del
información estructural como esferas anidadas. software, la evolución, puede visualizarse como una variante del

(a) Metáfora de la ciudad (b) Metáfora RD (c) Metáfora de la planta (d) Metáfora multiesfera

Fig. 2. Metáforas seleccionadas apoyadas por GETAVIZ

115
 (a) Vista estructural con metáfora RD: Complejidad (b) Vista conductual con metáfora RD: duración de la (c) Visión evolutiva con metáfora RD:
ciclomática como altura de los métodos llamada como altura de los métodos Diferentes versiones del sistema de
software
Fig. 3. Variantes seleccionadas de la metáfora RD apoyadas por GETAVIZ, visualizando diferentes aspectos de los sistemas de software

Metáfora RD [17]. La base de la visualización en la Fig. 3(c) es un El proceso de generación consta de tres pasos, cada uno toma un
diseño máximo. Muestra todos los elementos que ocurren en el modelo como entrada y genera el modelo transformado. La
período de evolución representado del sistema de software. El implementación se basa en Eclipse Modeling Framework,
tamaño de los glifos en el diseño base está determinado por el especialmente Xtext2y extender3. El marco Xtext se utiliza para
tamaño máximo de las entidades representadas. Las versiones del describir los metamodelos. Además, el marco es capaz de analizar
sistema de software visualizado se colocan sobre el diseño base. archivos de texto que siguen estos metamodelos y crear un modelo
Solo las entidades que ocurren en la versión respectiva del sistema a partir de ellos. Por el momento, analizar los archivos de entrada
de software se muestran en la visualización. El tamaño de los glifos es el cuello de botella con respecto a la escalabilidad. El tamaño del
de las versiones está determinado por el tamaño del elemento en la modelo está limitado ya que Xtext carga el modelo completo en la
versión representada. RAM a la vez, de forma similar a un analizador DOM. Actualmente,
podemos visualizar Apache Spring Framework, que consta de
B. Implementación aproximadamente 2 millones de líneas de código (LOC), pero no
modelos mucho más grandes. Una vez completado este paso, se
Ampliamos el trabajo anterior de Müller et al. [18], quienes utiliza Xtend para realizar las transformaciones del modelo. Xtend
introdujeron el enfoque generativo y basado en modelos para es un lenguaje de programación JVM y está especialmente diseñado
hacer frente a los requisitos presentados al crear visualizaciones de para este caso de uso. En general, hay tres pasos de transformación
software altamente personalizadas y listas para usar. Al separar el que se describen a continuación.
proceso de visualización en múltiples transformaciones de modelos,
se puede implementar una gran variedad de plataformas para
diferentes metáforas. El generador se basa en este enfoque de
2https://eclipse.org/Xtext/
implementación. 3https://eclipse.org/xtend/

(a) Variante de piso de la ciudad: métodos como (b) Variante de panel de ciudad: métodos como (c) Variante de ladrillos de la ciudad: métodos y
pisos, atributos en la parte superior de los edificios paralelepípedos, atributos como cilindros atributos como ladrillos de los edificios

Figura 4. Variantes seleccionadas de la metáfora de la ciudad con el apoyo de GETAVIZ

116
 1) Fuente a modelo:En este paso, se crea un modelo específico de VI. miVALUACIÓNSEVER
metáfora a partir del modelo fuente, por ejemplo, el modelo FAMIX. De Para proporcionar visualizaciones optimizadas para diferentes aspectos, es
ese modo se lleva a cabo el mapeo entre entidades de código y indispensable una comprensión más profunda de los pros y los contras de las
entidades visuales. Por ejemplo, para cada clase del modelo de origen se visualizaciones del software. Para obtener este conocimiento, son necesarias
crea un disco en el modelo RD. evaluaciones con visualizaciones completamente nuevas y con diferentes
2) Modelo a Modelo:El segundo paso enriquece el modelo variantes de las visualizaciones existentes. Por lo tanto, GETAVIZcontiene un
específico de la metáfora del primer paso con más información. Por servidor de evaluación que utiliza la interfaz de usuario presentada [17]. Sin
ejemplo, la información de diseño no se puede calcular durante el embargo, el acoplamiento entre ambos componentes es débil, el servidor de
primer paso porque se requiere información sobre el modelo evaluación puede integrar fácilmente cualquier otra interfaz de usuario
completo para calcular las posiciones. El modelo resultante basada en navegador.
contiene toda la información para visualizar el sistema de software. El servidor de evaluación es una aplicación de Rails
3) Modelo a objetivo:En el último paso, se utiliza el modelo creada para facilitar la planificación y realización de
específico de la metáfora del paso anterior para generar el evaluaciones empíricas con visualizaciones de software.
resultado final. Cada entidad del modelo específico de la Una interfaz administrativa permite al evaluador definir
metáfora se transforma en una representación X3D o X3DOM. y organizar las diferentes partes de la evaluación, como
cuestionarios, visualizaciones y las tareas respectivas.
Cada evaluación incluye un hash de identificación único,
v tuSERyoINTERFAZ
lo que permite compartir el enlace a la evaluación con
los participantes. También es posible proporcionar a
Para respaldar los diferentes casos de uso de la aplicación del usuario final,
cada participante un enlace único al experimento. Los
realizar estudios y probar funciones para cada visualización generada, se ha
participantes son guiados automáticamente a través del
creado una interfaz de usuario basada en navegador genérica y altamente
proceso de evaluación. Cada página del proceso es
configurable. Se basa en la salida del generador de visualización de software,
visible solo una vez por cada participante. Se persisten
la visualización misma y un archivo JSON que contiene metadatos adicionales,
los tiempos necesarios para contestar las preguntas, así
por ejemplo, nombres completos, relaciones de herencia y jerarquías de
como las propias respuestas.
llamadas. Esta información es independiente de la metáfora y se compara con
El servidor de evaluación se puede utilizar en dos modos de
entidades visuales mediante una identificación única. Es utilizado
funcionamiento diferentes. Es posible implementar el servidor en un
principalmente por la interfaz de usuario para proporcionar más información
servidor web, para que los participantes puedan hacer la evaluación de
sobre el sistema de software subyacente. GRAMOETAVIZutiliza X3D y X3DOM
forma remota. Esto hace posible llegar a más participantes. Un
como las principales plataformas de renderizado, ya que proporcionan una
inconveniente de este enfoque es el control limitado sobre los
variedad de funciones que se adaptan a la visualización del software [19]. X3D
participantes. La otra opción es ejecutar el servidor en una computadora
es un estándar definido por Web3D Consortium para facilitar la creación e
local. La realización de la evaluación de esta manera aumenta el control
intercambio de escenas 3D [20]. Define un formato de intercambio XML que lo
sobre el entorno de los participantes. La ventaja del servidor de
convierte en una buena opción como plataforma de destino. Además, X3D
evaluación en este entorno es la guía automatizada de los participantes
admite diferentes tipos de funciones multimedia, como video, audio y
a través del experimento, lo que reduce la influencia del evaluador sobre
animación. X3DOM fue desarrollado para integrar X3D en HTML y así lograr
los participantes.
un uso más sencillo de las aplicaciones web [21]. Por estos motivos, la interfaz
de usuario de nuestro conjunto de herramientas utiliza X3DOM en lugar de VIII. REXALTADOWORK
X3D. Mejora las técnicas de interacción estándar de X3DOM, por ejemplo, con GRAMOETAVIZproporciona vistas estructurales, de comportamiento y
nuevos tipos de navegación, información sobre herramientas con detalles, evolutivas de sistemas de software procedimentales y orientados a
conectores para relaciones, un explorador de paquetes y un visor de código objetos en 2D y 3D. Hay varias herramientas de visualización de software
fuente. con un enfoque amplio similar que incluyen sv3D [22] y cv3D [23], Vizz3D
[24], Codemap [25], SArF Map [26], Verso [27] y BlendedCity [28]. Sin
La interfaz de usuario se basa en el patrón modelo-vista- embargo, la visualización de todas las herramientas antes mencionadas
controlador y un modelo de evento de publicación-suscripción para no se puede explorar en un navegador web y proporcionan diferentes
un acoplamiento débil entre las acciones del usuario y la interfaces de usuario y técnicas de interacción, lo que hace que sea
manipulación de la visualización. Cada controlador implementa al imposible evaluar estas visualizaciones en condiciones idénticas.
menos una técnica de interacción como resaltar un elemento
seleccionado y publica o consume los eventos correspondientes. EvalBench es una biblioteca Java flexible para la evaluación de
Un archivo de configuración de instalación define el diseño, la visualización de información [29] y proporciona características
colección de controladores y los parámetros de una interfaz de usuario similares al servidor de evaluación de GETAVIZ. El usuario puede
específica. Por lo tanto, se puede definir un gran número de variantes de definir el proceso de evaluación, incluyendo tareas y cuestionarios y
interfaz de usuario para cada caso de uso de una manera fácil y se puede combinar con prototipos de visualización de terceros. Sin
eficiente, considerando optimizaciones específicas de visualización para embargo, EvalBench carece de capacidades remotas y está limitado
la interacción, así como desarrollando e integrando nuevas técnicas de a interfaces de usuario basadas en Java. Otras soluciones de
interacción o mejorando las existentes. evaluación como el entorno de prueba de visualización jerárquica

117
(HVTE) [30] y Touchstone [31] tienen un enfoque diferente. Estas [7] S. Ducasse, N. Anquetil, MU Bhatti, AC Hora, J. Laval y
T. Girba, "MSE y FAMIX 3.0: una familia de modelos de formato de intercambio
herramientas soportan procesos de evaluación complejos y
y código fuente", HAL, Tech. Rep., noviembre de 2011.
ramificados y proporcionan un análisis integrado de la evaluación, [8] O. Greevy, "Dynamix: un metamodelo para admitir el análisis centrado en
que GETAVIZno es. Pero están diseñados para una visualización 2D características", en1º Int. Trabajar. Reingeniería de alces FAMIX, 2007.
[9] S. Ducasse, T. Gı̂rba y J.-M. Favre, “Modelado de la evolución del software al tratar la
simple con interfaces de usuario mínimas, lo que no es adecuado
historia como una entidad de primera clase”, enTrabajar. suave Evol. A través de
para la visualización de software. Transformar., 2004, págs. 75–86.
En consecuencia, hemos comenzado a desarrollar GETAVIZincluida la [10] S. Diehl,Visualización de software: visualización de la estructura, el
comportamiento y la evolución del software. Springer, 2007.
interfaz de usuario y el servidor de evaluación para cubrir el proceso
[11] T. Münzner,Proceso y trampas en la redacción de artículos de investigación de
completo, desde la generación de visualizaciones hasta su visualización de información. Springer Berlín Heidelberg, 2008, págs. 134–153.
representación en un navegador web y la realización de evaluaciones [12] AR Teyseyre y MR Campo, "Una descripción general de la visualización de
software 3D".Transacciones IEEE sobre visualización y gráficos por
empíricas para cualquier metáfora de visualización.
computadora, vol. 15, núm. 1, págs. 87 a 105, 2008.
[13] C. Hansen, S. Miksch, K. Mueller, B. Preim y C. Ware, “2D VS 3D IEEE
VIII. CONCLUSIÓN Y FUTUROWORK VIS 2014 Panel Proposal,” 2014.
[14] R. Wettel y M. Lanza, "Comprensión del programa a través de la habitabilidad del
Hemos presentado la funcionalidad y el concepto de implementación software", enCIPC 2007. IEEE CS Press, 2007, págs. 231–240.
[15] T. Münzner,Análisis y diseño de visualización. Prensa CRC, 2014.
de GETAVIZ, un conjunto de herramientas para respaldar el proceso
[16] R. Müller y D. Zeckzer, "La metáfora del disco recursivo: un enfoque basado en
completo de diseño y evaluación de visualizaciones de software. Hemos glifos para la visualización de software", enActas de la 6ª Conferencia
aplicado con éxito el enfoque generativo y basado en modelos para Internacional sobre Teoría y Aplicaciones de Visualización de Información
(IVAPP '15). Setúbal: SciTePress, 2015, págs. 171–176.
admitir múltiples metáforas de visualización, variantes de metáforas,
[17] J. Schilbach, "Analyse, Erzeugung und Evaluation animierter
lenguajes de programación, sistemas de control de versiones y formatos Softwarevisualisierungen", disertación, Universität Leipzig, Leipzig, 2017,
de salida. Para superar el problema de escalabilidad mencionado, presentada.
[18] R. Müller, P. Kovacs, J. Schilbach y U. Eisenecker, "Visualización generativa de
planeamos reemplazar Xtext por una base de datos de gráficos, lo que
software: generación automática de visualizaciones específicas del usuario",
nos permitirá visualizar sistemas con varios millones de LOC. enproc. En t. Trabajar. Dígito. Ing., Magdeburgo, Alemania, 2011, págs. 45–49.
Actualmente, G.ETAVIZestá diseñado para investigadores. Para que también
[19] C. Anslow, S. Marshall, J. Noble y R. Biddle, "Evaluación de X3D para uso en
sea adecuado para los usuarios finales, es necesario mejorar especialmente la
visualización de software"Actas del 3er simposio ACM sobre visualización
interfaz de usuario del generador. Especificar la visualización debe ser más de software, págs. 161 y 162, 2006.
fácil, por ejemplo, a través de una interfaz de usuario orientada a tareas, [20] Consorcio Web3D, "Tecnología de la información: gráficos por computadora y
procesamiento de imágenes: 3D extensible (X3D)", 2008.
donde el usuario selecciona la tarea que tiene que resolver y la visualización
[21] J. Behr, P. Eschler, Y. Jung y M. Zöllner, “X3DOM”, enActas de la 14.ª
óptima se elige automáticamente. Conferencia Internacional sobre Tecnología Web 3D (Web3D '09). Nueva
Ya llevamos a cabo varios estudios cuantitativos y cualitativos que se York: ACM Press, junio de 2009, pág. 127.
[22] A. Marcus, L. Feng y JI Maletic, "Comprehension of software analysis data
basan total o parcialmente en el conjunto de herramientas presentado
using 3D visualization", en11 Int. Trabajar. progr. compr. IEEE Computer
[6], [17], [32]. GRAMOETAVIZse desarrolla continuamente. En el futuro, Society, 2003, pág. 105.
tenemos la intención de cubrir más lenguajes de programación, por [23] X. Xie, D. Poshyvanyk y A. Marcus, "Visualización de la información del
repositorio de CVS", en3º Trabajo. Conf. ing. inversaiee, 2006, págs. 231–
ejemplo, Python y JavaScript, y metáforas de visualización. Sobre esta
242.
base, planeamos realizar varias series de experimentos para aumentar y [24] T. Panas, R. Lincke y W. Löwe, "Configuración en línea de visualizaciones de
mejorar los datos obtenidos empíricamente en la visualización de software con Vizz3D", enproc. 2005 Simposio ACM. suave Vis. Nueva York,
Nueva York, EE. UU.: ACM Press, mayo de 2005, págs. 173–182.
software para hacer que la visualización de software sea más atractiva
[25] A. Kuhn, D. Erni y O. Nierstrasz, "Embedding space software visualization
para los profesionales. in the IDE: an exploratory study", enproc. 5to Int. Síntoma suave Vis.
Nueva York, EE. UU.: ACM, octubre de 2010, págs. 113–122.
RFERENCIAS [26] K. Kobayashi, M. Kamimura, K. Yano, K. Kato y A. Matsuo, "Mapa SArF:
visualización de la arquitectura de software desde los puntos de vista de
[1] SP Reiss, “La paradoja de la visualización de software”, en3er Taller características y capas", en21 Int. Conf. progr. compr., 2013, págs. 43–52.
Internacional IEEE sobre Visualización de Software para Comprensión y [27] O. Benomar, H. Sahraoui y P. Poulin, "Visualizing Software Dynamicities
Análisis, 2005, págs. 1 a 5. with Heat Maps", en1er Trabajo IEEE. Conf. suave Vis., 2013.
[28] T. Dal Sasso, R. Minelli, A. Mocci y M. Lanza, "Mezclado, no agitado: Visualización
[2] L. Merino, M. Ghafari y O. Nierstrasz, “Towards Actionable Visualization in
multipreocupación de grandes sistemas de software", en3er Trabajo IEEE.
Software Development”, en4º Trabajo IEEE. Conf. suave Vis., 2016, págs.
Conf. suave Vis., 2015, págs. 106–115.
61–70.
[29] W. Aigner, S. Hoffmann y A. Rind, "EvalBench: una biblioteca de software para la
[3] R. Müller, P. Kovacs, J. Schilbach, UW Eisenecker, D. Zeckzer y
evaluación de la visualización", enConferencia Eurographics sobre
G. Scheuermann, "Un enfoque estructurado para realizar una serie de
Visualización (EuroVis), vol. 32, núm. 3, 2013.
experimentos controlados en visualización de software", enCongreso
Internacional de Teoría y Aplicaciones de la Visualización de la Información
[30] K. Andrews, W. Putz y A. Nussbaumer, “The Hierarchical Visualization
(IVAPP), enero de 2014, págs. 204–209.
System (HVS)”, enproc. En t. Conf. Visualización de información,
2007.
[4] T. Munzner, "Un modelo anidado para el diseño y la validación de la visualización",
[31] WE Mackay, C. Appert, M. Beaudouin-lafon, O. Chapuis, Y. Du,
Transacciones IEEE sobre visualización y gráficos por computadora, vol. 15, núm. 6,
J.-d. Fekete y Y. Guiard, “Touchstone: Exploratory Design of Experiments”, en
págs. 921–928, noviembre de 2009.
Conferencia SIGCHI. Factores humanos en sistemas informáticos, 2007.
[5] M. Meyer, M. Sedlmair y T. Munzner, "Revisión del modelo anidado de
[32] R. Müller, P. Kovacs, J. Schilbach y D. Zeckzer, "How to Master
cuatro niveles: bloques y pautas", enActas del Taller BELIV 2012: Más allá
Challenges in Experimental Evaluation of 2D versus 3D Software
del tiempo y los errores - Nuevos métodos de evaluación para la
Visualizations", enTaller internacional IEEE VIS 2014 sobre 3DVis:
visualización, ser. BELIV '12. Nueva York, NY, EE. UU.: ACM, 2012, págs.
¿Realmente tiene sentido el 3D para la visualización de datos?, IEEE.
11:1–11:6.
París, Francia: IEEE, 2014.
[6] D. Baum, "Introducción de la estética a la visualización de software", enWSCG,
vol. 23, 2015, pág. 9.

118