Machine Translated by Google

Un nuevo marco de autoaprendizaje para la clasificación del cáncer de vejiga mediante

Imágenes Histopatológicas

´ 1
Gabriel García1 , Anna Esteve1,2, Adrián Colomer , David Ramos2 y Valery Naranjo1
1Instituto de Investigación e Innovación en Bioingeniería, Universitat Polit`ecnica de Val`encia, 46022, Valencia, España

2 Hospital Universitario y Politécnico La Fe, Avinguda de Fernando Abril Martorell, 106, 46026, Valencia, España.

Resumen

Recientemente, el cáncer de vejiga ha aumentado significativamente en términos de incidencia y mortalidad. Actualmente, se conocen
dos subtipos basados en el crecimiento del tumor: cáncer de vejiga no músculo-invasivo (NMIBC) y cáncer de vejiga músculo-invasivo (MIBC).
En este trabajo nos centramos en el subtipo MIBC porque es el de peor pronóstico y puede diseminarse a órganos adyacentes. Presentamos
un marco de autoaprendizaje para clasificar el cáncer de vejiga a partir de imágenes histológicas teñidas mediante técnicas
inmunohistoquímicas. En concreto, proponemos un novedoso Deep Convolutional Embedded Attention Clustering (DCEAC) que permite
clasificar los parches histológicos en diferentes niveles de gravedad de la enfermedad, según los patrones establecidos en la literatura. El
modelo DCEAC propuesto sigue una metodología de aprendizaje totalmente no supervisada de dos pasos para discernir entre patrones no
tumorales, leves e infiltrativos a partir de muestras de alta resolución de 512 × 512 píxeles. Nuestro sistema supera los métodos anteriores
basados en agrupamiento al incluir un módulo de atención convolucional, que permite refinar las características del espacio latente antes de
la etapa de clasificación. La red propuesta supera los enfoques de vanguardia en un 2-3 % en diferentes métricas, logrando una precisión
promedio final de 0,9034 en un escenario de varias clases. Además, los mapas de activación de clases informados evidencian que nuestro
modelo es capaz de aprender por sí mismo los mismos patrones que los médicos consideran relevantes, sin incurrir en pasos de anotación
previos. Este hecho supone un gran avance en la gradación del cáncer de vejiga músculo-invasivo que cierra la brecha con respecto al
arXiv:2106.13559v1
[eess.IV]
2021
junio
de
25

entrenamiento del modelo sobre datos etiquetados.

Palabras clave: cáncer de vejiga, gemación tumoral, aprendizaje no supervisado, agrupamiento profundo, imágenes histopatológicas,
autoaprendizaje, tinción inmunohistoquímica

1. Introducción paciente. Cuando no se puede localizar el tumor en el estadio

previo, se realiza una urografía por resonancia magnética para
El cáncer de vejiga es una proliferación descontrolada de las
analizar la posible diseminación local [4]. Si hay evidencia de
células tumorales uroteliales de la vejiga que conlleva el desarrollo
cáncer de vejiga, el urólogo suele realizar una cistoscopia basada
del tumor. En los últimos años se ha observado un aumento
en la técnica de resección transuretral (RTU), que permite extraer
significativo de la incidencia y mortalidad en adultos con respecto
una muestra de tejido vesical anormal para determinar el tipo de
a esta alteración. En particular, estudios recientes afirman que el
crecimiento tumoral. Después del proceso de preparación, el tejido
cáncer de vejiga es el segundo cáncer más común del tracto
de la biopsia generalmente se tiñe con hematoxilina y eosina (H &
urinario y el quinto más incidente entre los hombres en los países
E) para mejorar las propiedades histológicas del tejido. Finalmente,
desarrollados [1, 2].
se puede adoptar un proceso de tinción adicional para resaltar
Hoy en día, el procedimiento de diagnóstico del cáncer de
estructuras especiales asociadas con el problema en estudio.
vejiga incluye varias pruebas que consumen mucho tiempo. En
primer lugar, se realiza una citología de orina para determinar la
En particular, se aplicó la técnica inmunohistoquímica CK AE1/3
presencia de células cancerígenas [3]. Posteriormente, se emplea
sobre las imágenes histológicas utilizadas en este trabajo para
una ecografía vesico-prostática y renal para localizar el tumor y
resaltar las células cancerígenas proporcionando una tonalidad
tener una idea de su tipo de crecimiento, lo que da pistas relevantes
marrón cuando ocurre la unión antígeno-anticuerpo.
para determinar el grado y el pronóstico de la misma.
Tenga en cuenta que se distinguen dos tipos de cáncer de
vejiga, no músculo-invasivo (NMIBC) y músculo-invasivo (MIBC),
Dirección de correo electrónico: [email protected] () dependiendo de su nivel de invasividad durante

Preprint enviado a Computers in Biology and Medicine 28 de junio de 2021

Machine Translated by Google

el crecimiento del tumor dentro de la pared de la vejiga. Actualmente, el píxeles Las características resultantes se fusionaron con otros datos
75% y el 25% de los casos de cáncer de vejiga corresponden a TVNMI y clínicos para abordar una etapa de clasificación a través de redes GRU
MIBC, respectivamente [2]. En este estudio nos centramos en la categoría bidireccionales. El algoritmo propuesto informó una precisión de 0,67
MIBC ya que es la de peor pronóstico y favorece la diseminación del para la predicción de supervivencia a 5 años. En [15], los autores llevaron
tumor a órganos adyacentes. Según [5], el cáncer de vejiga músculo- a cabo un enfoque de extremo a extremo para distinguir entre las
invasivo (MIBC) no suele presentar casos de malignidad de bajo grado, categorías MIBC y NMIBC a partir de imágenes H&E. Primero, realizaron
sino solo carcinomas uroteliales de alto grado, que pueden categorizarse un proceso de segmentación para discriminar el tejido del fondo de la
como grado 2 o 3 siguiendo los criterios de clasificación propuestos por imagen. Se utilizaron parches de 700 × 700 píxeles para realizar la
la Organización Mundial de la Salud (OMS) [6]. Jiménez et al. [7] extracción de características tanto manual como automática. El
describieron tres patrones histológicos diferentes que guardan correlación aprendizaje manual se llevó a cabo a través de características

con el resultado del paciente. Concretamente, en las imágenes contextuales como la distribución del tamaño nuclear, el borde de la
histopatológicas teñidas con CK AE1/3 se pueden encontrar patrones grieta, la proporción de muestras, etc., mientras que el aprendizaje
nodulares, trabeculares e infiltrativos, como se observa en la figura 1. El basado en datos se abordó a través de las arquitecturas VGG16 y
patrón nodular (recuadro amarillo) está definido por nidos de células VGG19. Durante la etapa de clasificación, se utilizaron diferentes
tumorales bien delimitados con forma circular. Por lo demás, el patrón clasificadores de aprendizaje automático, como la máquina de vectores
trabecular se caracteriza por la presencia de células tumorales dispuestas de soporte (SVM), la regresión logística (LR) o el bosque aleatorio (RF),
en bandas interconectadas. Finalmente, el patrón infiltrativo está entre otros, para determinar el tipo de tejido vesical.
compuesto por hebras de células tumorales (recuadro rojo) o un pequeño
conjunto de células aisladas llamadas brotes (recuadro azul). El patrón Los enfoques manuales mostraron un rendimiento superior con respecto
infiltrativo, también conocido como gemación tumoral, representa el a los modelos de aprendizaje profundo, logrando una precisión del 91 ÿ
escenario más agresivo y el peor pronóstico para el paciente [8-11]. Por 96 % según el clasificador.
esa razón, encasillamos las estructuras nodulares y trabeculares en una Respetando los estudios con intención de clasificación, la mayoría de
sola clase específica (patrón leve) para clasificar la gravedad de MIBC ellos se centraron en imágenes histológicas teñidas con H&E, como
de acuerdo con el pronóstico de la enfermedad. Además, consideramos antes. En [17], los investigadores propusieron un escenario multiclase
un patrón no tumoral (caja rosa) para cubrir aquellos casos en los que el para detectar el subtipo molecular en los casos de cáncer de vejiga con
paciente no presenta signos de evidencia tumoral. De esta manera, se invasión muscular (MIBC). Aplicaron la arquitectura ResNet en parches
lleva a cabo un escenario multiclase a lo largo del artículo para clasificar de 512 × 512 píxeles, consiguiendo resultados para el área bajo la curva
el cáncer de vejiga en patrones no tumorales (NT), leves (M) e infiltrantes ROC (AUC) de 0,89 y 0,87 en términos de micro y macropromedio. De lo
(I). contrario, en [18], los autores hicieron uso de la red Xception como
extractor de características de parches teñidos con H & E de 256 × 256
píxeles. Luego, se implementó un clasificador SVM para discernir entre
alta y baja carga mutacional alcanzando valores de 0,73 y 0,75 para la
precisión y las métricas de AUC, respectivamente.

1.1. Trabajo relacionado

Harmon et al. [19] propusieron un escenario de clasificación para detectar
Un diagnóstico certero de cáncer de vejiga supone una tarea muy metástasis en los ganglios linfáticos de parches H & E de 100 × 100
laboriosa para los patólogos expertos, cuyo nivel de reproducibilidad es píxeles. Una combinación de la arquitectura ResNet-101 con clasificadores
lo suficientemente bajo como para proporcionar diferencias significativas AdaBoost informó un AUC de 0,678 en el momento de la prueba. Otro
en la interpretación basada en la histología [12, 13]. Por esa razón, estudio interesante [12] llevó a cabo un enfoque de clasificación para
muchos estudios en el estado del arte han propuesto algoritmos de categorizar el tipo de tejido en seis clases diferentes: urotelio, estroma,
inteligencia artificial para ayudar a los patólogos en términos de costo- dañado, músculo, sangre y fondo. Con este fin, los autores combinaron
efectividad y relación de subjetividad. La mayoría de ellos se centraron técnicas de aprendizaje profundo supervisadas y no supervisadas en
en técnicas de aprendizaje automático aplicadas a imágenes histológicas parches de 128 × 128 píxeles teñidos con H & E. Específicamente,
teñidas con H y E para problemas de segmentación [14–16] y clasificación entrenaron un codificador automático (AE) a partir de las imágenes sin
[12, 13, 17–22]. etiquetar y utilizaron la red del codificador para abordar la clasificación. a
lo largo de las características extraídas de las muestras etiquetadas.
En cuanto a los estudios basados en segmentación, Lucas et al. [14] Alcanzaron resultados multiclase de 0,936, 0,935 y 0,934 % para las

utilizó la popular arquitectura U-net para segmentar casos normales y métricas de precisión, recuperación y puntuación F1, respectivamente.
malignos de imágenes de vejiga. Luego, utilizaron la red común VGG16 Uno de los más importantes de última generación.
como columna vertebral para extraer características histológicas de
parches de 224×224

2
Machine Translated by Google

Nodular

Trabecular

infiltrativo

(a) (b) (C) (d) (mi)

Figura 1: Imagen de diapositiva completa (WSI) de un paciente que padece cáncer de vejiga músculo-invasivo (MIBC) en el que se evidencian diferentes
patrones de crecimiento. a) Patrón no tumoral. (b) Disposición nodular (patrón leve). (c) Disposición trabecular (patrón leve). ( d ) Hebras de células tumorales
de un patrón infiltrativo. (e) Células tumorales aisladas que denotan un patrón infiltrativo.

En [13] se llevaron a cabo estudios centrados en imágenes encontrado en la literatura para el análisis del cáncer de vejiga, por
histológicas H&E de cáncer de vejiga. Zhang et al. recopiló una gran ejemplo, resonancia magnética nuclear (RMN) [16], cistoscopia [21,
base de datos de WSI con el objetivo de discernir entre grados altos 22] o tomografía computarizada (TC) [20]. Particularmente, Dolz et
y bajos de la enfermedad. En particular, utilizaron una red de al. [16] aplicaron algoritmos de aprendizaje profundo para detectar
autocodificador para identificar posibles áreas con cáncer. Luego, los las paredes de la vejiga y las regiones tumorales a partir de muestras
ROI extraídos de dimensiones 1024 × 1024 píxeles se ingresaron en de resonancia magnética. En [21, 22], se implementaron diferentes
una red neuronal convolucional (CNN) para clasificarlos en clases arquitecturas de aprendizaje profundo para distinguir entre pacientes
bajas y altas. Finalmente, el sistema propuesto reportó una precisión sanos y pacientes con cáncer de vejiga usando muestras de cistoscopia.
promedio del 94%, en comparación con el 84,3% alcanzado por los Yang et al. [20] describió una clasificación entre las categorías
patólogos. Los hallazgos de este estudio revelan que existe un nivel NMIBC y MIBC a partir de imágenes de TC. Además, aunque las
de subjetividad significativo entre los expertos en el diagnóstico a técnicas inmunohistoquímicas son ampliamente utilizadas en la
partir de imágenes histológicas de cáncer de vejiga, como se sustenta literatura para la detección de gemación tumoral, la mayoría de los
en [12]. trabajos más avanzados las aplican sobre imágenes de cáncer
colorrectal [23–26]. Sin embargo, en la literatura se encuentra una
gran brecha en los estudios basados en inmunohistoquímica para el
Cabe señalar que, además de las muestras histopatológicas, diagnóstico del cáncer de vejiga. en cuanto a nosotros
también se consideran otras modalidades de imagen.

3
Machine Translated by Google

sabe, solo el estudio realizado en [27] propuso el uso de muestras Con todo lo anterior, el marco de trabajo end-to-end propuesto
teñidas con inmunofluorescencia para cuantificar la gemación supone un referente fiable para realizar sugerencias diagnósticas
tumoral para el pronóstico de MIBC a través de algoritmos de sin involucrar la experiencia del patólogo, lo que añade un valor
aprendizaje automático. En concreto, los autores pretendían significativo al cuerpo de conocimiento. En resumen, las principales
establecer una relación entre la gemación tumoral y la supervivencia contribuciones de este trabajo se enumeran a continuación:
evaluada en pacientes con MIBC. Para ello, llevaron a cabo
estrategias de aprendizaje basadas en la detección de núcleos y la
segmentación del tumor en regiones del estroma para contar las • Por primera vez, utilizamos imágenes teñidas con CK AE3/1
células tumorales aisladas en gemación. Los autores propusieron para abordar el diagnóstico automático del cáncer de vejiga
una función de decisión de supervivencia basada en clasificadores a través de algoritmos de aprendizaje automático.
de bosques aleatorios, informando una razón de riesgo de 5,44.
• Recurrimos a técnicas avanzadas de aprendizaje profundo no
1.2. Contribución de este trabajo supervisado para abordar la clasificación del cáncer de vejiga
Según el conocimiento del autor, no se han realizado trabajos sin necesidad de pasos de anotación previos.
previos para analizar la gravedad del cáncer de vejiga utilizando
• Proponemos una arquitectura novedosa de agrupamiento
imágenes histológicas teñidas con inmunohistoquímica de
profundo capaz de mejorar el espacio de representación a
citoqueratina AE1-AE3. Además, todos los estudios de vanguardia
través de módulos de atención convolucionales, lo que deriva
se centraron en métodos de aprendizaje supervisado para encontrar
en una mejor clasificación no supervisada.
dependencias entre las entradas y la clase predicha [12, 13, 18, 19].
Algunos de ellos [12, 13] también consideraron el uso de técnicas
• Nos basamos en parches histológicos de alta resolución para
no supervisadas en los primeros pasos metodológicos para encontrar
conocer patrones específicos de cáncer de vejiga y estratificar
posibles ROI con cáncer, pero necesitan datos de etiquetado para
los diferentes niveles de severidad de la enfermedad según
construir los modelos predictivos definitivos. Además, las tareas de
la literatura.
reconocimiento de patrones destinadas a clasificar el cáncer de
vejiga no se han abordado en estudios anteriores. • Se informa que los mapas de calor que resaltan las áreas
decisivas incorporan un componente explicable para la
Para llenar estos vacíos en la literatura, presentamos en este predicción de la red. Este hecho proporciona una perspectiva
documento un marco de autoaprendizaje para el patrón de de interpretabilidad que coincide con el criterio de los clínicos.
crecimiento del cáncer de vejiga, que se centra en estrategias de
aprendizaje totalmente no supervisadas aplicadas en WSI teñidos con CK AE3/1.
En particular, proponemos un agrupamiento de atención incrustado
convolucional profundo (DCEAC) que permite aumentar el 2. Materiales
rendimiento del modelo de clasificación sin incurrir en datos
etiquetados. En la literatura, los algoritmos de agrupamiento Para realizar este estudio se utilizó una base de datos privada
profundo han demostrado una alta tasa de rendimiento para la compuesta por 136 imágenes de portaobjetos completos (WSI)
clasificación de imágenes [28–30], la segmentación de imágenes teñidas mediante la técnica de inmunohistoquímica CK AE1/3.
[31], la separación del habla [32, 33] o el análisis de datos [34], Los WSI, provenientes del Hospital Universitario y Politécnico La Fe
entre otras tareas. . Inspirándonos en [28], proponemos un algoritmo (Valencia, España), se digitalizaron con el mayor aumento óptico
a la medida capaz de competir con los resultados de última (40x) para aprovechar la estructura inherente de los patrones
generación logrados por los algoritmos supervisados. Como vesicales asociados con cada grado de la enfermedad. Vale la pena
novedad, incluimos un módulo de atención convolucional para señalar que es necesaria una alta resolución de imagen para lograr
refinar las características embebidas en el espacio latente. Además, un diagnóstico preciso del cáncer de vejiga. Esto se debe a que las
somos los primeros en centrarnos en la disposición de las estructuras dependencias de clase se evidencian en la alta frecuencia de la
histológicas contenidas en los parches de alta resolución para imagen, especialmente en los detalles de gemación tumoral.
clasificarlas en patrones no tumorales (NT), leves (M) e infiltrativos
(I), según los criterios propuestos en [7]. También calculamos un En el primer paso de la preparación de la base de datos, un
algoritmo de mapa de activación de clase (CAM) [35] para demostrar experto del Departamento de Anatomía Patológica realizó una
cómo la red propuesta presta atención a aquellas estructuras segmentación manual para indicar posibles áreas de interés. En
específicas que coinciden con los patrones clínicos asociados con este punto, es importante resaltar que la segmentación se realizó
la agresividad de la vejiga. de manera muy tosca, como se observa en la Figura 2, con el fin de
reducir al máximo el tiempo de anotación del experto. De aquí,
cáncer.

4
Machine Translated by Google

Se aplicó un algoritmo de parcheo para extraer imágenes recortadas Propiedades de los parches histológicos. En una segunda fase, se
con un tamaño de bloque óptimo en términos de eficiencia incluye una rama de agrupamiento en la salida del cuello de botella
computacional y contenido estructural. En concreto, extrajimos de CAE para proporcionar la información de clase de las funciones
parches de dimensiones 512 × 512 píxeles, según algunos de los integradas, que se actualizan en línea al volver a entrenar el CAE en
estudios más recientes del estado del arte centrados en imágenes una red combinada. A continuación, detallamos ambos pasos de
histopatológicas [17, 36, 37]. aprendizaje.
Luego, se abordó un paso de preprocesamiento para descartar las
regiones inútiles, correspondientes al fondo del WSI, y seleccionar 3.1. Pre-entrenamiento CAE
aquellos parches que contenían más del 75% de tejido anotado. El autocodificador (AE) es una de las técnicas más comunes para
Después de esto, un total de 2995 parches representativos componían la representación de datos, cuyo objetivo es minimizar el error de
el marco de trabajo no supervisado. Con fines de validación, un reconstrucción entre las entradas X y las salidas R. Las arquitecturas
experto etiquetó manualmente cada parche como no tumoral (NT), AE se componen de dos etapas de entrenamiento: codificador fÿ(·) y
leve (M) o en las clases de filtración (I), de acuerdo con los criterios decodificador gÿ (·), donde ÿ y ÿ son parámetros aprendibles. La red
de patrones detallados anteriormente en la Sección 1. El proceso de del codificador aplica una función de mapeo no lineal para extraer un
etiquetado dio como resultado 763 no tumorales, 1470 casos leves y espacio de características Z de las muestras de entrada X, de modo
762 infiltrativos, como se reporta en la Figura 2. Es fundamental que f : X ÿ Z. Luego, la estructura del decodificador pretende
remarcar que no tuvimos acceso a los datos etiquetados durante la reconstruir los datos de entrada de las representaciones incrustadas
fase de entrenamiento ya que proponemos una estrategia totalmente a través de R = gÿ (Z).
no supervisada para lograr un autoaprendizaje de los patrones. Las El procedimiento de aprendizaje se lleva a cabo minimizando una
etiquetas solo se consideraron en el momento de la prueba para función de pérdida de reconstrucción.
evaluar el rendimiento de los modelos. Tenga en cuenta que las arquitecturas AE generalmente se
definen por capas totalmente conectadas, destinadas a reducir la
dimensionalidad del espacio de características [30, 34], o por capas

3. Métodos convolucionales que actúan como un extractor de características de

los datos de entrada 2D o 3D [28]. De manera similar a [28],
Recientemente, los algoritmos de agrupamiento profundo se han adoptamos una arquitectura de Autocodificador convolucional (CAE)
puesto a la vanguardia de las técnicas basadas en imágenes no para abordar la reconstrucción de los parches histológicos como una
supervisadas, ya que permiten mejorar el aprendizaje de funciones y, tarea previa al texto. Sin embargo, nuestro CAE difiere de la literatura
al mismo tiempo, mejorar el rendimiento del agrupamiento en un actual en un aspecto específico de la red: el cuello de botella. A
marco unificado [28]. En este documento, abordamos una estrategia diferencia de Guo et al. [28], que combinó operaciones de
de autoaprendizaje totalmente no supervisada para agrupar una gran aplanamiento con capas completamente conectadas en el medio del
colección de imágenes no etiquetadas en K = 3 grupos CAE, introdujimos un módulo de atención convolucional a través de
correspondientes a diferentes niveles de gravedad de MIBC. una conexión residual para mejorar el espacio latente para la tarea
Específicamente, inspirados en [28], proponemos un novedoso de agrupamiento posterior. Como se observa en la Figura 3, utilizamos
agrupamiento de atención incrustado convolucional profundo (DCEAC) un codificador compuesto por tres capas convolucionales apiladas
en el que las características se actualizan de manera en línea para con un campo receptivo de 3 × 3 (cuadros azules). En el cuello de
aprender representaciones estables para la etapa de agrupamiento. botella, definimos un bloque de atención compuesto por un
A diferencia de los enfoques convencionales [30], el algoritmo DCEAC autocodificador personalizado que permite refinar las características
propuesto optimiza el espacio latente al preservar la estructura local incrustadas en la dimensión espacial. Específicamente, el módulo
de los datos, lo que ayuda a estabilizar el proceso de aprendizaje de propuesto combina convoluciones 1×1 (cajas verdes) con una función
agrupamiento sin distorsionar las propiedades de incrustación. sigmoidea (capa morada) destinada a recalibrar las entradas. La
Los métodos de autoaprendizaje tienen como objetivo aprender inclusión de un atajo de identidad obliga a la red a estabilizar el
representaciones útiles aprovechando el conocimiento específico del espacio de características al propagar gradientes más grandes a las
dominio de los datos no etiquetados para realizar tareas posteriores. capas anteriores a través de conexiones de salto. Se incluyó una
Este procedimiento de entrenamiento se suele afrontar con enfoques capa convolucional adicional de 1 × 1 para modificar el canal de filtro
de resolución de tareas pretexto [38], razonamiento relacional [39] o sin afectar la dimensión de los mapas de características. En la etapa
aprendizaje contrastivo [40]. En nuestro escenario de cáncer de del decodificador, aplicamos operaciones de regularización entre las
vejiga, abogamos por una estrategia secuencial que recurre a la capas convolucionales transpuestas (cuadros de contorno amarillo) a
reconstrucción de imágenes como una tarea de pretexto no supervisada. lo largo de la normalización por lotes para evitar el cambio de
Específicamente, llevamos a cabo una metodología de aprendizaje covariable interno [41].
de dos pasos en la que, primero, se entrena un autocodificador
convolucional (CAE) para incorporar información sobre el dominio Un factor notable es que no hay agrupamiento o sobremuestreo

5
Machine Translated by Google

WSI teñidos con CK AE1/3 Algoritmo de parcheo Selección de parches útiles Etiquetado

Saludable

Grado II
<

Grado III
512

512

Figura 2: Proceso de preparación de la base de datos. Primero, se aplicó un algoritmo de parcheo en 136 WSI teñidos con CK AE1/3 para extraer subimágenes de 512 ×
512 píxeles. Con fines de validación, los 2995 parches resultantes fueron etiquetados por un experto como patrón no tumoral (NT), leve (M) o infiltrativo (I) para dar lugar
a un escenario de varias clases para la clasificación del cáncer de vejiga.

Se utilizaron capas para adaptar las dimensiones de los mapas de Algoritmo 1: Entrenamiento CAE.
características después de cada paso convolucional. En su lugar,
trabajamos con un paso > 1 tanto en las estructuras del codificador Datos: conjunto de datos de entrenamiento sin
etiquetar X = {X1, ..., Xb, ..., XB}
como del decodificador para proporcionar una red con una mayor
Resultados: Autocodificador convolucional entrenado
capacidad de transformación mediante el aprendizaje del submuestreo espacial.
Como se observa en la Figura 3, dado un conjunto de parches de (CAE) parámetros ÿ y ÿ.

entrada X = {x1, x2, ..., xi , ..., xN}, siendo N el número de muestras por ÿ, ÿ ÿ aleatorio;
lote, la red codificadora mapea cada entrada xi ÿ R en un espacio de para e ÿ 1 para hacer
M×M×3
características integrado zi =lafÿ(xi)
Al final de resultante
red del del módulo
autocodificador, de atención.
la función del para b ÿ 1 para B hacer
decodificador fue entrenada para proporcionar un mapa de reconstrucción X ÿ Xb ÿ X; para
ri = gÿ(zi) tratando de minimizar el error cuadrático medio (MSE) entre i ÿ 1 a N do ri ÿ
la entrada xi y la salida ri , de acuerdo con la Ecuación 1. gÿ(fÿ(xi)) ;

1 ni
Lr ÿ =1
||xi ÿ ri ||2 ;
norte

Tenga en cuenta que los parches histológicos se redimensionaron de Actualizar ÿ, ÿ usando ÿÿ,ÿLr
M0 = 512 a M = 128 para aliviar las restricciones de GPU durante el
entrenamiento del modelo.

1 norte ritmo en el que se descartó la estructura del decodificador durante la

L= ||xi ÿ gÿ(fÿ(xi))||2 (1)
ni segunda etapa correspondiente al entrenamiento de agrupamiento. Sin
=1
embargo, Guo et al. [28] demostró que ajustar solo la red del codificador
Detalles de aprendizaje para el pre-entrenamiento CAE. podría distorsionar el espacio de características y dañar el rendimiento
Sea X = {X1, ..., Xb, ..., XB} el conjunto de entrenamiento compuesto de la clasificación.
por 2995 parches histológicos, el CAE propuesto fue entrenado durante En cambio, mantuvieron intacto el codificador automático bajo la
= 200 épocas aplicando una tasa de aprendizaje de 0.5 en B = 94 lotes, declaración de que las arquitecturas AE pueden evitar la distorsión
siendo Xb ÿ X un solo lote compuesto por N = 32 muestras. Se utilizó incrustada al preservar la información local de los datos [43]. Por esa
el optimizador Adadelta [42] para actualizar los pesos de reconstrucción razón, también proponemos un proceso de aprendizaje simultáneo
tratando de minimizar la función de pérdida de MSE Lr después de tanto para la reconstrucción como para la agrupación de ramas para
cada época e, como se detalla en el Algoritmo 1. evitar la corrupción del espacio de características, de manera similar a
[28].

Una vez pre-entrenado el CAE en una primera etapa (Algo ritmo

3.2. Capacitación DCEAC 1), incorporamos una rama de clustering a la salida del cuello de
En el trabajo pionero de agrupamiento profundo [30], los autores botella del CAE dando lugar a un Clustering de Atención Embebido
propusieron un algoritmo Deep Embedded Clustering (DEC) Convo lucional Profundo (DCEAC) capaz de

6
Machine Translated by Google

ÿ !(·) ÿ "(·)

128×128×64 128×128×64
zancada = 1 zancada = 2

128×128×3
128×128×3 64×64×128 64×64×128
zancada = 2 zancada = 2
32×32×256
zancada = 2

Embotellamiento BN BN

! !
32×32×256
Atajo de identidad

32×32×64 32×32×1 !!

32×32×32 32×32×256

Figura 3: Arquitectura del CAE propuesto utilizado para la reconstrucción de imágenes como tarea pretexto durante el proceso de aprendizaje.

para proporcionar una etiqueta suave con dependencia de clase.

yo,2j / q yo qi, j
De las representaciones incrustadas zi = {zi,1, ...,zi,k, ...,zi,C}, ser =
alto × ancho pi, j 2 (4)
Haciendo C = 256 el número de mapas de características , j q yo, j / yo qi, j
zi,k ÿ R, realizamos una compresión espacial para obtener una
C El marco de aprendizaje para el DCEAC propuesto (Algoritmo
i ÿ Rde etiquetas.
asignación característica
tor z Como
vec que
seconduce
muestraaen
una
la Figura
mejor 4, se
usó una capa de Global Average Pooling (GAP) (verde atenuada) 2) se llevó a cabo minimizando una función de pérdida personalizada

como función de proyección para reducir los mapas de (Ecuación 5), donde Lr y Lc son las pérdidas por reconstrucción y

características zi,k ÿ R con 1×1 H = W = 32, en el vector de ,

alto × ancho
agrupación, respectivamente. ÿ > 0 es un parámetro de temperatura
características z ÿ R (ver i,k Ecuación 2). que se utiliza para evitar la distorsión del espacio de características,
ya que ÿ = 0 sería equivalente a entrenar solo la arquitectura del
codificador automático convolucional (CAE), como se detalla en la
H W Sección 3.1.
1
z
= (2)
yo, k zi, k (alto, ancho)
alto × ancho
h=1 w=1 L = Lr + ÿLc (5)

Después de la operación GAP, se incluyó una capa de Específicamente, la pérdida de agrupamiento se definió como
agrupación (recuadro rojo en la Figura 4) para mapear cada divergencia de Kullback-Leibler (KL = (P||Q)) de acuerdo con la
representación iincrustada z en
representa una etiqueta
la probabilidad flexible
grupo
de que zqi,
j. De j , que con
pertenezca
acuerdo al Ecuación 6, mientras que el error cuadrático medio (mse) se utilizó
como una función de pérdida de reconstrucción.
la Ecuación 3, qi, j ise[44]
calculó
manteniendo
a través de
loslaparámetros
distribuciónentrenables
t de Student
de los centros de conglomerados {µj} . pi,
k
1como lc = j pij log qi, (6)
i j j

Como se mencionó anteriormente, los autocodificadores se

ÿ1
(1 + ||z i ÿ µj ||2 ) encargan de preservar la estructura local de los datos, por lo que
qi j
= (3)
ÿ1
(1 + ||z j i ÿ µj ||2 ) el término de agrupamiento debe proporcionar solo una pequeña
contribución para actualizar los pesos para evitar la corrupción del
Tenga en cuenta que los centros de clúster se inicializaron espacio latente. Por esa razón, establecemos empíricamente ÿ =
ejecutando la técnica k-means en las características incrustadas zyo , 0.3 para todos los experimentos del proceso de entrenamiento
como se detalla en el Algoritmo 2. A partir de aquí, se usó una detallado en el Algoritmo 2.
distribución objetivo normal pi, j (definida en la Ecuación 4) como
una realidad básica durante el entrenamiento de los modelos.

7
Machine Translated by Google

128×128×64 128×128×64
zancada = 1 zancada = 2

64×64×128 64×64×128
128×128×3
128×128×3 zancada = 2
zancada = 2
),+
32×32×256
zancada = 2

BN BN

32×32×256

!
!
! Capa de agrupamiento

Atajo de identidad
ÿ!
!
32×32×64 32×32×1
ÿ),+

ps

/ ÿ! !,#!,#
32×32×32 32×32×256 ÿ#
ps
/ÿ! !,#!,#
!

Figura 4: Arquitectura del agrupamiento de atención embebido convolucional profundo propuesto (DCEAC). El modelo se entrena de extremo a extremo minimizando
las funciones de reconstrucción y de pérdida de agrupamiento. La tarea de pretexto de reconstrucción estabiliza el espacio de características zi evitando la distorsión
incrustada, mientras que el término de agrupamiento predice las asignaciones de clase blanda qi .

Detalles de aprendizaje para la capacitación de DCEAC. Los codificadores automáticos convolucionales (CAE) son más potentes que
Al igual que en la capacitación previa de CAE anterior, dado un lote de los AE completamente conectados para manejar imágenes. Por esa razón,
entrada Xb de N = 32 muestras, utilizamos el optimizador Adadelta con una adaptamos la metodología DEC anterior al incluir operaciones de convolución
tasa de aprendizaje de 0.5 para minimizar la función de pérdida personalizada en lugar de capas completamente conectadas. Con este fin, seguimos la
L. En cuanto a los aspectos de software y hardware, todos los modelos fueron metodología expuesta en [45], donde originalmente se propusieron CAE
desarrollado usando Ten sorflow 2.3.1 en Python 3.6. Los experimentos se apilados para la extracción de características jerárquicas. Por lo tanto, con el
realizaron en una máquina con procesador Intel(R) Core(TM) i7-9700 CPU a fin de realizar una comparación de vanguardia confiable, fusionamos las
3,00 GHz y 16 GB de RAM. Para los algoritmos de aprendizaje profundo, se arquitecturas de agrupamiento [30] y CAE [45] para proporcionar un modelo
utilizó un único NVIDIA A100 Ten sor Core con cuDNN 7.5 y CUDA Toolkit DEC refinado, a partir de ahora llamado rDEC.
10.1.

Por lo demás, también replicamos los experimentos realizados por Guo

et al. [28], quienes propusieron un aprendizaje híbrido para agrupamiento

4. Resultados experimentales profundo con codificadores automáticos convolucionales. La principal

diferencia con respecto al anterior rDEC es que [28] mantienen intacto el
4.1. Estado del arte En esta término del decodificador durante el entrenamiento de los modelos dando
sección, mostramos un desempeño comparativo entre el modelo DCEAC lugar a un marco híbrido que combina la reconstrucción de Lr y el clustering
propuesto y los trabajos más relevantes de la literatura basados en clustering de pérdidas Lc . La idea detrás de esto es que el espacio de funciones
profundo. En particular, adaptamos el estudio realizado en [30], donde los incorporado en rDEC podría distorsionarse utilizando solo la pérdida orientada
autores propusieron una estrategia de aprendizaje en dos pasos basada en a la agrupación. Entonces, propusieron aprovechar la estructura del
un modelo Deep Embedded Clustering (DEC) compuesto por capas decodificador para evitar la corrupción del espacio latente al considerar el
totalmente conectadas. En el primer paso, entrenaron la red de codificadores error de reconstrucción. Tenga en cuenta que una de las principales
automáticos para extraer conocimiento del dominio de imágenes sin etiquetar. contribuciones de Guo et al. [28] mintió en el cuello de botella propuesto, ya
En la segunda etapa, una vez codificada la información de la imagen que obligaron a que la dimensión de las características incrustadas fuera
específica, Xie et al. [30] descartó la estructura del decodificador para abordar igual al número de grupos en las capas completamente conectadas.
directamente la fase de agrupamiento desde el espacio de características
aprendidas, sin considerar el error de reconstrucción.
Sin embargo, esto no es escalable a otros problemas de clasificación con
imágenes de entrada de mayor dimensionalidad o con una pequeña cantidad
Sin embargo, trabajos posteriores, como [28], afirman que de grupos. En concreto, aplicaron la

8
Machine Translated by Google

Algoritmo 2: Entrenamiento DCEAC. siendo una de las principales aportaciones propias. En lo sucesivo, nos
referiremos a este enfoque como rDCEC.
Datos: conjunto de datos de entrenamiento sin
etiquetar X = {X1, ..., Xb, ..., XB} 4.2. Resultados cuantitativos
Resultados: Asignación de conglomerados ˆyi En esta sección, informamos el rendimiento de clasificación no
para cada muestra histológica xi . supervisado logrado por los algoritmos rDEC [30] y rDCEC [28] antes
Paso 1: Inicialización de centros de clúster ÿ, mencionados en comparación con nuestro modelo DCEAC propuesto.
ÿ ÿ parámetros CAE previamente entrenados; Además, se consideró un método convencional basado en ejecutar el

Z ÿ fÿ(X); {µj} ÿ algoritmo k-means en el espacio de características para saber cuál es

k
kmsignifica(Z); la brecha en el rendimiento entre el modelo propuesto y las técnicas
j=1
tradicionales. Este enfoque convencional se denominará AE+kmeans.
Paso 2: Entrenamiento DCEAC
Como se observa en las Tablas 1 y 2, la comparación se maneja
para e ÿ 1 para hacer para b ÿ 1
mediante diferentes figuras de mérito, como sensibilidad (SN),
para B hacer
especificidad (SP), F-score (FS), precisión (ACC) y área bajo la curva
X ÿ Xb ÿ X; para
ROC ( AUC). En particular, la Tabla 1 muestra los resultados por clase
i ÿ 1 a N do zi ÿ fÿ(xi);
para evidenciar qué tan bien los cuatro algoritmos clasifican los 2995
ri ÿ gÿ(zi); ÿ
parches histológicos con patrones no tumorales (NT), leves (M) e
BRECHA(zi); yo
infiltrativos (I). Además, la Tabla 2 reporta los resultados de la
z
yo ÿµj ||2 ) ÿ1 ; yo
ÿ1 clasificación en términos de micro y macro promedio. Ambas métricas
(1+||z ÿµj ||
qi, j ÿ 2)j
(1+||z brindan información sobre el desempeño promedio general de los
q
2

yo,
/ yo qi, j modelos de clasificación, pero el promedio micro tiene en cuenta el
ÿ
pi, j j2
/
j q yo, j ; yo qi, j desequilibrio entre clases, lo que permite una perspectiva más fiel del
1 ni comportamiento de los modelos que el promedio macro.
Lr ÿ norte = 1 ||xi ÿ ri ||2 ;
pi,
Lc ÿ ij pij registro j;
qi j

L ÿ Lr + ÿLc;
Actualice ÿ, ÿ, µj usando ÿÿ,ÿ,µjL; Para mejorar la comparación entre los enfoques de aprendizaje,
representamos en la Figura 5 el espacio latente dispuesto por cada
Paso 3: Etiquete la predicción
para b ÿ 1 a B do modelo con su respectiva matriz de confusión. Tenga en cuenta que,
si bien la matriz de confusión brinda información sobre la capacidad
X ÿ Xb ÿ X; para
i ÿ 1 a N do ÿ de clasificación de cada modelo, la representación del espacio
incrustado contribuye a un escenario de agrupación más completo para
z
GAP(fÿ(xi)); i ÿµj ||
yo

z ÿ1 ;2i )ÿµj
(1+||
||
ÿ1 la clasificación del cáncer de vejiga. De esta manera, se utilizó la
ÿ 2)j
qi j (1+||z yˆij);
ÿ argmaxj(qi, herramienta Incrustación de vecino estocástico distribuida en T (TSNE)
para ilustrar, en un mapa 2D, las características incrustadas clasificadas
bien y mal clasificadas denotadas por puntos y cruces, respectivamente.
Los colores verde, azul y rojo hacen referencia a los patrones no
tumorales, leves e infiltrativos.
algoritmos en el conjunto de datos MNIST compuesto por muestras xi
ÿ R28 × 28 × 1 y proporciona un espacio incrustado zi con 10
características, de acuerdo con el número K = 10 de grupos. Sin 4.3. Resultados cualitativos
embargo, en nuestro caso, tratamos con imágenes de 128 × 128 × 3 En un intento por incorporar una perspectiva interpretativa para los
píxeles, donde la alta resolución es esencial para el rendimiento de la resultados cuantitativos informados, calculamos los mapas de activación
clasificación, a diferencia del conjunto de datos MNIST. Además, de clases (CAM), que permiten resaltar las regiones en las que el
nuestro objetivo es clasificar las muestras histológicas en K = 3 clases, modelo presta atención para predecir la clase de cada muestra. Este
por lo que replicar la arquitectura de [28] es inviable ya que el término hecho generalmente puede ayudar a encontrar patrones ocultos
del decodificador sería incapaz de reconstruir las imágenes solo a partir asociados con una clase específica o para determinar si la predicción
de tres valores característicos. Por esa razón, para impulsar una de la etiqueta se basa en los mismos patrones que los médicos. De
comparación convincente con [28], mantenemos las mismas esta manera, los mapas de calor informados conducen a una mejor
arquitecturas y detalles de entrenamiento propuestos en este trabajo, comprensión del espacio de características integrado al señalar áreas
pero eliminando el módulo de atención convolucional para ser decisivas de los parches histológicos para la asignación de grupos.

9
Machine Translated by Google

Tabla 1: Resultados de clasificación no supervisada por clase.

NO TUMORALES TEMPLADO INFILTRATIVO
AE+kmsignifica rDEC rDCEC DCEAC AE+kmsignifica rDEC rDCEC DCEAC AE+kmsignifica rDEC rDCEC DCEAC
número de serie 0.9345 1 1 0.9987 0.5020 0,8082 0,8952 0,9041 0.5105 0,4659 0,5105 0,6168
SP 0.9870 0,9319 0,9780 0,9978 0.7659 0,8262 0,7862 0,8118 0.6556 0,8782 0,9319 0,9364
FS 0.9475 0,9094 0,9689 0,9961 0.5754 0,8129 0,8458 0,8613 0.4052 0,5112 0,5971 0,6841
CAC 0.9736 0,9492 0,9836 0,9980 0.6364 0,8174 0,8397 0,8571 0.6187 0,7733 0,8247 0,8551

Tabla 2: Resultados de la clasificación no supervisada en términos de micro y macropromedio.

MICRO-MEDIA MACRO-MEDIA
AE+k significa rDEC rDCEC DCEAC AE+k significa rDEC rDCEC DCEAC
número de serie 0.6144 0,7699 0,8240 0,8551 0.6490 0,7580 0,8019 0,8399
SP 0.8072 0,8850 0,9120 0,9275 0.8028 0,8788 0,8987 0,9153
FS 0,6144 ACC 0,7699 0,8240 0,8551 0.6427 0,7445 0,8039 0,8472
0,7429 0,8466 0,8827 0,9034 0.7429 0,8466 0,8827 0,9034
ABC 0,7259 0,8184 0,8503 0,8776 0.7259 0,8184 0,8503 0,8776

AE+k significa rDEC rDCEC DCEAC

Nuevo Testamento Nuevo Testamento Nuevo Testamento Nuevo Testamento

verdadera
Etiqueta
verdadera
Etiqueta verdadera
Etiqueta verdadera
Etiqueta

METRO METRO METRO METRO

yo yo yo yo

NT MI NT MI NT MI NT MI
Etiqueta predicha Etiqueta predicha Etiqueta predicha Etiqueta predicha

Figura 5: Representación del espacio latente y matriz de confusión derivada de la clasificación de agrupamiento alcanzada por cada método.

Como se deduce de la Figura 5, el mayor desafío de la modelo propuesto para determinar la clase. En el marco
clasificación del cáncer invasivo del músculo vesical (MIBC) verde de la Figura 6, ilustramos patrones histológicos leves
radica en la distinción de los patrones cancerosos leves (M) (ae) e infiltrativos (fj) bien clasificados. Además, en el marco
e infiltrantes (I), como se esperaba. Por esa razón, en la rojo, mostramos muestras de cáncer de vejiga con un
Figura 6, reportamos varios ejemplos de mapas de calor patrón leve mal clasificado como gemación tumoral (ko) y
correspondientes a muestras mal clasificadas para dilucidar viceversa (pt). Los hallazgos de los mapas de activación
la razón por la cual el modelo propuesto falla. Además, de clases se discutirán en la Sección 5.
mostramos ejemplos de CAM bien pronosticados para
evidenciar las estructuras relevantes en las que la red
presta atención al predecir correctamente. En concreto,
mostramos cinco ejemplos por caso para dejar claro el criterio seguido por la

10
Machine Translated by Google

Patrón leve bien

predicho

(a) (b) (C) (d) (mi)

Patrón infiltrativo
bien predicho

(F) (gramo) (h) (i) (j)

Patrón leve
erróneamente
predicho como
patrón infiltrativo

(k) (l) (metro) (norte) (o)

Patrón
infiltrativo
erróneamente
predicho como patrón leve

(pags) (q) (R) (s) (t)

Figura 6: Mapas de activación de clases que destacan las regiones que el modelo DCEAC propuesto considera relevantes para la predicción de clases. El
cuadro verde se refiere a imágenes bien predichas con patrones leves (M) e infiltrativos (I), mientras que el cuadro rojo corresponde a las muestras mal
clasificadas en las que se ha confundido la agresividad de la enfermedad.

5. Discusión el desempeño superior de nuestro modelo es aún más notable

al discernir el patrón infiltrativo. DCEAC muestra los mejores
5.1. Acerca de los resultados cuantitativos resultados para todas las métricas, especialmente para
sensibilidad y F-score superando en más de un 10% al resto
En la Tabla 1, podemos observar que todos los modelos
de enfoques.
contrastados funcionan bien para detectar la clase no tumoral,
incluidos los kmeans convencionales. Sin embargo, el modelo La Tabla 2 informa el desempeño general de los modelos,
DCEAC propuesto alcanza el rendimiento más alto para todas en términos de micro y macropromedio. Como se mencionó
las métricas, excepto la sensibilidad, ya que el modelo clasifica anteriormente, los resultados del micropromedio toman en
erróneamente una muestra no tumoral, como se informa en la cuenta el desequilibrio entre las clases, lo cual es un aspecto
matriz de confusión de DCEAC de la Figura 5. Con respecto a importante en este estudio ya que las muestras con un patrón
la clase leve, el modelo propuesto modelo también proporciona leve aparecen sobremuestreadas. No obstante, el modelo
el mejor comportamiento. Sólo las rDEC superan un 1% de DCEAC propuesto supera sistemáticamente al resto de los
especificidad, pero a costa de comprometer un 10% la métodos de agrupación en clústeres en un 2 ÿ 3 % en las
diferentes
sensibilidad respecto al DCEAC propuesto. Como se observa en la Tabla 1, métricas de micro y macropromedio, como se aprecia en la Tabla 2.
11
Machine Translated by Google

Como comentario final sobre los resultados cuantitativos, cabe Del análisis previo en profundidad de los resultados
destacar que la decisión del experto coincide con el sistema cuantitativos e interpretativos, podemos esclarecer varios
de inteligencia artificial propuesto en el 90,34% de los casos, hallazgos. El primero de ellos es que el uso de técnicas de
según la precisión media. aprendizaje profundo mejora el rendimiento de la clasificación
con respecto a los enfoques de agrupamiento convencionales.
En la Figura 5 se informa un refuerzo de los resultados Como era de esperar, todos los métodos basados en
cuantitativos. A partir de las matrices de confusión, se aprecia agrupamiento profundo, es decir, rDEC, DCEC y DCEAC,
claramente por la gama de colores que todos los modelos superan la línea base basada en el algoritmo kmeans. Esto se
tienden a confundir patrones cancerosos leves e infiltrativos. debe a que estos modelos permiten una etapa de aprendizaje
El algoritmo kmeans presenta una capacidad muy baja para más profunda en la que las funciones integradas se ajustan a
discernir entre muestras cancerígenas ya que la mayoría de una distribución objetivo, a diferencia del algoritmo kmeans,
las imágenes se predicen como un patrón leve debido al que modifica los clústeres de forma iterativa sin actualizar el
sobremuestreo de esa clase. Esto cambia cuando se describen aprendizaje de funciones. Además, podemos observar que los
los algoritmos de agrupamiento profundo. En particular, el modelos con ramas de reconstrucción y agrupamiento
modelo rDEC mejora la clasificación de imágenes cancerígenas integradas en un marco unificado brindan mejores resultados
pero compromete mucho la clase no tumoral al clasificar que el modelo rDEC, que aborda el proceso de aprendizaje en
erróneamente las muestras con un patrón infiltrativo. En esta dos etapas independientes. La razón detrás del rendimiento
línea, el modelo rDCEC mejora los resultados al disminuir superior de rDCEC y DCEAC con respecto a rDEC radica en
notablemente las muestras de gemación tumoral erróneamente la preservación de la estructura local de los datos integrados.
predichas como casos no tumorales. Además, rDCEC también Dado que los modelos rDCEC y DCEAC tienen una salida
aumenta el número de verdaderos positivos para las muestras conectada entre las etapas de agrupamiento y reconstrucción,
de tumores. Sin embargo, este modelo presenta una importante el término de agrupamiento puede transferir información de
carencia a la hora de predecir los patrones infiltrativos, ya que clase al término de reconstrucción, que se encarga de
actualizar los pesos de la red del codificador. De esta forma,
un número importante de ellos son erróneamente etiquetados como leves.
Inequívocamente, el modelo DCEAC propuesto proporciona las características embebidas pueden optimizarse incorporando
los mejores resultados de clasificación. Las muestras con la predicción de clase sin distorsionar el espacio latente gracias
gemación tumoral mal clasificadas como casos no tumorales a la estructura del decodificador. Finalmente, el modelo
disminuyen casi al mínimo, a diferencia de los casos anteriores. DCEAC propuesto muestra mejoras sustanciales en el
Además, el número de verdaderos positivos para patrones rendimiento con respecto al resto de los enfoques. Esto se
leves e infiltrativos alcanza los valores más altos, mientras que debe a la inclusión del bloque de atención convolucional, que
se reducen los falsos positivos y negativos. permite refinar el espacio latente para proporcionar
La representación del espacio de características integrado características más adecuadas para la fase de agrupamiento.
ofrece una perspectiva visual de los resultados cuantitativos.
Podemos observar que el algoritmo de kmeans es capaz de 5.2. Acerca de los resultados
discernir aproximadamente entre muestras histológicas cualitativos Como se aprecia en los mapas de activación de
cancerígenas y no tumorales. Sin embargo, la nube de puntos clases (CAM) informados en la Figura 6, el modelo DCEAC
es muy difusa para separar las clases leve e infiltrativa. Por el propuesto se enfoca en nidos de células tumorales (Figura 6
contrario, el modelo rDEC muestra una mejor distribución de (ac)) y bandas interconectadas de tumores (Figura 6 (de))
los datos embebidos, aunque las características relativas a cuando predice muestras con un patrón suave. Este hecho
cada clase aún permanecen juntas en el espacio latente. Esto implica que la red propuesta ha aprendido por sí sola a asociar
mejora en el caso del modelo rDCEC, donde se empiezan a estructuras nodulares y trabeculares con un patrón leve de la
apreciar clústeres independientes. Las características no enfermedad. Además, el modelo DCEAC reconoce pequeños
tumorales (indicadas por el color verde) no están marcadas en conjuntos de yemas aisladas (Figura 6 (fg)) o hebras de células
el espacio de representación y las muestras tumorales tumorales (Figura 6 (hj)) como estructuras características del
incrustadas comienzan a dispersarse hacia diferentes clases patrón infiltrativo, también conocido como gemación tumoral.
de grupos. Discutiblemente, el modelo DCEAC propuesto Estos hallazgos se evidencian en el marco verde de los mapas
proporciona la mejor representación incrustada ya que las de calor correspondientes a muestras bien pronosticadas.
características se distribuyen a lo largo del espacio latente En el caso de predicciones erróneas (marco rojo en la
formando grupos independientes de acuerdo con una clase Figura 6), podemos observar que la red propuesta mantiene
específica. Este hecho fortalece aún más nuestra confianza consistencia al determinar la clase de cada muestra. Los
en la capacidad del modelo propuesto para discernir entre parches histológicos de la Figura 6 (ko) muestran una
patrones histológicos no tumorales, leves e infiltrativos. apariencia más parecida a los patrones infiltrativos,
12
Machine Translated by Google

por lo que la red resalta pequeñas hebras que recuerdan a las El agrupamiento (DCEAC) ha demostrado un rendimiento superior
estructuras en ciernes tumorales. Sin embargo, la etiqueta a los métodos anteriores basados en agrupamiento, logrando una
verdadera asignada por el experto para estas muestras fue un precisión promedio de 0,9034 para calificar la agresividad del
patrón leve. En este punto, los resultados cualitativos cobran cáncer de vejiga con invasión muscular (MIBC). Además, los
interés porque las sugerencias del modelo pueden llevar a los mapas de activación de clases (CAMs) reportados muestran que
patólogos a reconsiderar su diagnóstico en algunos casos dudosos, el sistema propuesto es capaz de aprender por sí mismo las
como una segunda opinión. Además, el ojo humano es susceptible mismas estructuras que los clínicos para asociar los patrones con
a la fatiga, por lo que el sistema propuesto podría ayudar en casos el grado de severidad correcto de la enfermedad, sin incurrir en
en los que algunos patrones hayan pasado desapercibidos, para pasos de anotación previos. En esta línea, nuestra perspectiva
evitar un diagnóstico sesgado. completamente no supervisada cierra la brecha con respecto a
De lo contrario, en los casos de la Figura 6 (pt), las muestras otros algoritmos supervisados, ya que el sistema propuesto no
con un patrón infiltrativo son erróneamente predichas por el modelo requiere la participación de expertos para ser entrenado.
como casos leves. En estos parches histológicos, la red propuesta En futuras líneas de investigación, trabajaremos en mejorar la
se enfoca en estructuras más grandes relacionadas con patrones precisión de las muestras tumorales cuando en una misma imagen
nodulares o trabeculares, pero ignora las pequeñas células aparezcan estructuras con diferentes patrones de crecimiento.
tumorales aisladas que conducen a una mayor gravedad del Además, utilizaremos sistemas de hardware más potentes para
cáncer de vejiga. De aquí podemos deducir que, aunque la procesar imágenes completas de portaobjetos de alta resolución
predicción final podría estar equivocada, el reconocimiento de para proporcionar un diagnóstico por biopsia, en lugar de por parche.
patrones logrado por el modelo mantiene la consistencia. Nótese
que el modelo falla porque coexisten patrones pertenecientes a
Fondos
una clase diferente en el mismo parche histológico, por lo que en
futuras líneas de investigación nos enfrentaremos a este problema
Este trabajo ha sido parcialmente financiado por el proyecto
de larga data.
SICAP (DPI2016-77869-C2-1-R) y GVA a través del proyecto
En resumen, el modelo DCEAC propuesto demuestra, a través
PROMETEO/2019/109. El trabajo de Gabriel García ha sido
de mapas de activación de clases, una predicción de alta
apoyado por la Agencia Estatal de Investigación Española
confianza ya que es capaz de centrarse en los mismos patrones
PTA2017-14610-I. El equipo utilizado para esta investigación ha
que los clínicos, sin tener información previa de ellos. Como se
sido financiado por la Unión Europea dentro del Programa operativo
mencionó anteriormente, la opinión del experto y el modelo
FEDER de la Comunidad Valenciana 2014-2020 con el número de
propuesto coincidirán en la mayoría de los casos (en concreto, el
subvención ID IFEDER/2020/030.
90,34% de las veces). Así, el sistema de inteligencia artificial
podría ayudar como un sistema asistido por ordenador para la
revisión de procesos, lo que daría lugar a una mejora de la calidad
del diagnóstico sin involucrar a otros expertos. Además, el sistema Referencias
propuesto podría ayudar a los patólogos sin experiencia al sugerir
[1] S. Antoni, J. Ferlay, I. Soerjomataram, A. Znaor, A. Jemal, F. Bray,
áreas de interés con una etiqueta convincente. Incidencia y mortalidad por cáncer de vejiga: una visión global y
tendencias recientes, urología europea 71 (1) (2017) 96 – 108.
´
[2] L. Lorenzo, Valor pronóstico de la presencia de un componente
6. Conclusión tumoral indiferenciado ("tumor brotando") en pacientes con car
´
cinoma vesical musculo-invasivo, Ph.D. tesis, Universitat de
`
En este artículo, hemos propuesto un nuevo marco de Valencia (2018).
´
autoaprendizaje basado en técnicas de agrupamiento profundo [3] G. Feil, A. Stenzl, Pruebas de marcadores tumorales en el cáncer
´ ˜
de vejiga, Actas Urologicas Españolas 30 (1) (2006) 38–45.
para calificar la gravedad del cáncer de vejiga a través de muestras
[4] S. Sharma, P. Ksheersagar, P. Sharma, Diagnóstico y tratamiento
histológicas. Se aplicaron métodos de tinción inmunohistoquímica del cáncer de vejiga, médico de familia estadounidense 80 (7)
en las imágenes para mejorar los patrones no tumorales, leves e (2009) 717–723.

infiltrativos, según la literatura. Recurrimos a un modelo híbrido [5] A. Stenzl, N. Cowan, M. De Santis, M. Kuczyk, A. Merseburger, M.
´
Ribal, A. Sherif, J. Witjes, Gu´ÿa cl´ÿnica sobre el cancer de ve- jiga
mediante la combinación de una rama de agrupamiento a lo largo ´ ´
con invasión muscular y metast asico,Urología
Asociación
(2010).
Europea de
del término de reconstrucción utilizado como tarea de pretexto
para preservar la estructura local de las características. Para [6] C. Busch, F. Algaba, Los sistemas who/isup 1998 y who 1999 para
destacarnos del estado del arte, introdujimos un bloque de atención la clasificación de malignidad del cáncer de vejiga. fundamento
científico y traducción entre sí y sistemas anteriores, Virchows
convolucional que permite refinar el espacio de características Archiv 441 (2) (2002) 105–108.
para conducir a una mejor clasificación sin supervisión. [7] RE Jimenez, E. Gheiler, P. Oskanian, R. Tiguert, W. Sakr, DP Wood
La atención embebida convolucional profunda propuesta Jr, JE Pontes, DJ Grignon, Grading the invasive

13
Machine Translated by Google

componente del carcinoma urotelial de la vejiga y su relación con la y su aplicación clínica, The International Journal of Medical Robotics and
supervivencia libre de progresión, The American Journal of Surgical Pathology Computer Assisted Surgery (2020) e2194.
24 (7) (2000) 980–987. [23] F. Prall, H. Nizze, M. Barten, Brotación tumoral como factor pronóstico en el
[8] A. Almangush, M. Karhunen, S. Hautaniemi, T. Salo, I. Leivo, Valor pronóstico de carcinoma colorrectal en estadio i/ii, Histopatología 47 (1) (2005) 17–24.
la gemación tumoral en el cáncer de esófago: un metanálisis, Histopatología 68
(2) (2016) 173–182. [24] A. Lugli, E. Karamitopoulou, I. Panayiotides, P. Karakit sos, G. Rallis, G. Peros,
[9] E. Karamitopoulou, I. Zlobec, D. Born, A. Kondi-Pafiti, P. Lyk oudis, A. Mellou, K. G. Iezzi, G. Spagnoli, M. Bihl, L. Terracciano, et al., linfocitos Cd8+ /tumor-
Gennatas, B. Gloor, A. Lugli, Tumor bud ding es un fuerte e independiente budding in dex: un factor de pronóstico independiente que representa un
factor pronóstico en el cáncer de páncreas, European journal of cancer 49 (5) enfoque 'pro/antitumoral' para la interacción del huésped tumoral en el cáncer
(2013) 1032–1039. colorrectal, British journal of cancer 101 (8) (2009) 1382–1392.
[10] R. Masuda, H. Kijima, N. Imamura, N. Aruga, Y. Nakamura, D. Masuda, H.
Takeichi, N. Kato, T. Nakagawa, M. Tanaka, et al., Tumor brotando es un [25] T. Ogawa, T. Yoshida, T. Tsuruta, W. Tokuyama, S. Adachi, M. Kikuchi, T. Mikami,
indicador significativo de un mal pronóstico en pacientes con carcinoma de K. Saigenji, I. Okayasu. tases en adenocarcinomas colorrectales invasivos de
células escamosas de pulmón, Molecular Medicine informa 6 (5) (2012) 937– la submucosa y en crecimientos no polipoides en comparación con crecimientos
943. polipoides, Scandinavian journal of gastroenterology 44 (5) (2009) 605–614.
[11] K. Fukumoto, E. Kikuchi, S. Mikami, K. Ogihara, K. Mat sumoto, A. Miyajima, M.
Oya, Tumor en ciernes, un indicador pronóstico novedoso para predecir la
progresión de la etapa en los cánceres de vejiga t1, Cáncer ciencia 107 (9) [26] I. Zlobec, MP Bihl, A. Foerster, A. Rufle, A. Lugli, El impacto del fenotipo del
(2016) 1338–1344. metilador de la isla cpg y la inestabilidad de microsatélites en la gemación
[12] R. Wetteland, K. Engan, T. Eftestøl, V. Kvikstad, EA Janssen, Clasificación de tumoral en el cáncer colorrectal, Histopatología 61 (5) (2012) 777–787 .
tejido multiclase de imágenes histológicas de portaobjetos completos utilizando
redes neuronales convolucionales., ICPRAM 1 (2019) 320–327. [27] N. Brieu, CG Gavriel, IP Nearchou, DJ Harrison, G. Schmidt, PD Caie, La
cuantificación automática de la gemación tumoral mediante el aprendizaje
[13] Z. Zhang, P. Chen, M. McGough, F. Xing, C. Wang, M. Bui, Y. Xie, M. Sapkota, L. automático aumenta la estadificación tnm en el pronóstico del cáncer de vejiga
Cui, J. Dhillon, et al., nivel de patólogo Diagnóstico de cáncer de diapositiva invasivo del músculo, Informes científicos 9 (1) (2019)
completa interpretable con aprendizaje profundo, Nature Machine Intelligence 1 1–11.
(5) (2019) 236–245. [28] X. Guo, X. Liu, E. Zhu, J. Yin, Deep clustering with convolutional autoencoders,
[14] M. Lucas, I. Jansen, TG van Leeuwen, JR Oddens, DM de Bruin, HA Marquering, en: Conferencia internacional sobre procesamiento de información neuronal,
predicción de recurrencia basada en el aprendizaje profundo en pacientes con Springer, 2017, págs. 373–382.
cáncer de vejiga sin invasión muscular, European Urology Focus (2020). [29] X. Guo, E. Zhu, X. Liu, J. Yin, Deep Embedded Clustering with Data Augment, en:
Conferencia asiática sobre aprendizaje automático, PMLR, 2018, págs. 550–
[15] P.-N. Yin, K. Kishan, S. Wei, Q. Yu, R. Li, AR Haake, H. Miyamoto, F. Cui, 565.
Distinción histopatológica de los cánceres de vejiga invasivos y no invasivos [30] J. Xie, R. Girshick, A. Farhadi, Incrustación profunda no supervisada para análisis
utilizando enfoques de aprendizaje automático, informática médica BMC y toma de agrupamiento, en: Conferencia internacional sobre aprendizaje automático,
de decisiones 20 (1) (2020) 1–11. PMLR, 2016, págs. 478–487.
[31] J. Enguehard, P. O'Halloran, A. Gholipour, aprendizaje semisupervisado con
[16] J. Dolz, X. Xu, J. Rony, J. Yuan, Y. Liu, E. Granger, C. Desrosiers, X. Zhang, I. agrupamiento integrado profundo para clasificación y segmentación de
Ben Ayed, H. Lu, Segmentación multirregión del cáncer de vejiga estructuras imágenes, IEEE Access 7 (2019) 11093–11104.
en resonancia magnética con redes convolucionales dilatadas progresivas, [32] JR Hershey, Z. Chen, J. Le Roux, S. Watanabe, Deep clustering: Discriminative
Física médica 45 (12) (2018) embeddings for segmentation and separation, en: 2016 IEEE International
5482–5493. Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE,
[17] A.-C. Woerl, M. Eckstein, J. Geiger, DC Wagner, T. Daher, P. Stenzel, A. 2016, págs. 31 a 35.
Fernandez, A. Hartmann, M. Wand, W. Roth, et al., El aprendizaje profundo
predice el subtipo molecular de la vejiga invasiva del músculo cáncer de [33] BH Prasetio, H. Tamura, K. Tanno, Un algoritmo integrado de retardo de tiempo
portaobjetos histopatológicos convencionales, urología europea 78 (2) (2020) profundo para el agrupamiento de discurso de estrés no supervisado, en: IEEE
256–264. International Conference on Systems, Man and Cybernetics (SMC) de 2019,
[18] H. Xu, S. Park, SH Lee, TH Hwang, Uso del aprendizaje de transferencia en IEEE, 2019, págs. 1193–1198.
imágenes de diapositivas completas para predecir la carga mutacional del tumor [34] R. del Amor, A. Colomer, C. Monteagudo, V. Naranjo, Un enfoque de agrupamiento
en pacientes con cáncer de vejiga, bioRxiv (2019) 554527. refinado integrado en profundidad para la distinción del cáncer de mama basado
[19] SA Harmon, TH Sanford, GT Brown, C. Yang, S. Mehrali vand, JM Jacob, VA en la metilación del ADN, preimpresión de arXiv arXiv:2102.09563 (2021).
Valera, JH Shih, PK Agarwal, PL
Choyke, et al., Aplicación multirresolución de inteligencia artificial en patología [35] B. Zhou, A. Khosla, A. Lapedriza, et al., Aprendiendo características profundas
digital para la predicción de ganglios linfáticos positivos de tumores primarios para la localización discriminativa, en: Actas de la conferencia IEEE sobre visión
en cáncer de vejiga, JCO Clinical Cancer in Formatics 4 (2020) 367–382. por computadora y reconocimiento de patrones, 2016, pp. 2921–2929.

[20] Y. Yang, X. Zou, Y. Wang, X. Ma, Aplicación del aprendizaje profundo como [36] R. del Amor, L. Launet, A. Colomer, A. Moscardo,´ A. Mosquera-Zamudio, C.
herramienta no invasiva para diferenciar el cáncer de vejiga con invasión Monteagudo, V. Naranjo, Un marco débilmente supervisado basado en la
muscular y el cáncer de vejiga sin invasión muscular con tomografía atención para el diagnóstico de lesiones melanocíticas spit zoid en wsi ,
computarizada, European Journal de Radiología (2021) 109666. preimpresión de arXiv arXiv:2104.09878 (2021).
[21] A. Ikeda, H. Nosato, Y. Kochi, T. Kojima, K. Kawai, H. Sakanashi, M. Murakawa,
H. Nishiyama, Sistema de apoyo para el diagnóstico cistoscópico del cáncer de [37] J. Silva-Rodríguez, A. Colomer, J. Dolz, V. Naranjo, Autoaprendizaje para la
vejiga basado en inteligencia artificial, Revista de endourología 34 (3) (2020) clasificación gleason débilmente supervisada de patrones locales, Revista IEEE
352–358. de informática biomédica y de la salud (2021).
[22] R. Yang, Y. Du, X. Weng, Z. Chen, S. Wang, X. Liu, Reconocimiento automático [38] S. Gidaris, P. Singh, N. Komodakis, Aprendizaje de representación no supervisado
de tumores de vejiga mediante tecnología de aprendizaje profundo mediante la predicción de rotaciones de imágenes, versión preliminar de arXiv

14
Machine Translated by Google

arXiv:1803.07728 (2018).
[39] M. Patacchiola, A. Storkey, Razonamiento relacional autosupervisado para
el aprendizaje de representaciones, preimpresión de arXiv arXiv:2006.05849
(2020).
[40] T. Chen, S. Kornblith, M. Norouzi, G. Hinton, Un marco de trabajo simple
para el aprendizaje contrastivo de representaciones visuales, en:
Conferencia internacional sobre aprendizaje automático, PMLR, 2020,
págs. 1597–1607.
[41] S. Ioffe, C. Szegedy, Batch normalization: Accelerating deep network training
by reduce internal covariable shift, en: Conferencia internacional sobre
aprendizaje automático, PMLR, 2015, págs. 448–456.

[42] MD Zeiler, Adadelta: un método de tasa de aprendizaje adaptativo, arXiv

preimpresión arXiv: 1212.5701 (2012).
[43] X. Peng, S. Xiao, J. Feng, W.-Y. Yau, Z. Yi, Deep subspace clustering with
sparsity before., en: IJCAI, 2016, pp. 1925–1931.
[44] L. Van der Maaten, G. Hinton, Visualización de datos usando t-sne., Journal
of machine learning research 9 (11) (2008).
[45] J. Masci, U. Meier, D. Cires¸an, J. Schmidhuber, Codificadores automáticos
convolutivos apilados para la extracción de características jerárquicas, en:
Conferencia internacional sobre redes neuronales artificiales, Springer,
2011, págs. 52–59 .

15