RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.

br] e-ISSN 1981-6278

ARTIGOS ORIGINAIS

Avaliação do desempenho das redes de atenção à saúde: uma proposta

de indicadores
Evaluation of health care networks: a proposal for key performance
indicators
Evaluación del desempeño de las redes de atención de salud: una
propuesta de indicadores

Daiane Ellwanger Araujo | [email protected]

Universidade de Brasília. Brasília, DF, Brasil.

Edgar Merchan-Hamann | [email protected]

Universidade de Brasília. Brasília, DF, Brasil.

Francisca Sueli da Silva Lima | [email protected]

Universidade de Brasília. Brasília, DF, Brasil.

Josué Laguardia | [email protected]

Fundação Oswaldo Cruz. Rio de Janeiro, RJ. Brasil.

Maria Margarita Urdaneta Gutierrez | [email protected]

Universidade de Brasília. Brasília, DF, Brasil.

Resumo
Este artigo baseia-se em um estudo descritivo de processo metodológico de natureza operacional para
identificar indicadores que permitam a avaliação do desempenho das Redes de Atenção à Saúde (RAS)
mediante a identificação de agravo de saúde pública no contexto da regionalização do Sistema Único de
Saúde. Os métodos de seleção do agravo e indicadores incluíram a realização de três oficinas com especialistas
interdisciplinares aplicando a Técnica de Grupo Nominal. Priorizou-se o agravo câncer do colo do útero e
chegou-se a uma composição final de 10 indicadores para avaliação de subdimensões do desempenho dos
componentes da estrutura operacional da RAS. Concluiu-se que um conjunto de indicadores factíveis e
validados para o agravo selecionado pode compor um sistema de monitoramento e avaliação das RAS de
modo a subsidiar gestores na tomada de decisão. Os desdobramentos futuros do estudo em questão serão
o cálculo e a apresentação dos indicadores para comparabilidade entre as regiões de saúde do Brasil, bem
como a validação da metodologia proposta.

Palavras-chave: indicadores de saúde; avaliação de desempenho; Sistema Único de Saúde; sistemas de

informação em saúde; regionalização.

1
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Abstract
This article is based on a descriptive study of applied nature to identify indicators for assessing performance
on the network of health care (RAS) for public health problems selected under the context of the
regionalization of the Brazilian Unified Health System (Sistema Único de Saúde). For selecting the disease
and performance indicators, we held three workshops getting together interdisciplinary specialists and
applying Nominal Group Technique. Specialists priorized uterine colon cancer and proposed ten indicators
for evaluating the performance of sub-dimensions of the components of the operational structure of the
RAS. We conclude that a set of feasible and validated performance indicators can compose a monitoring
and evaluation system of RAS which can be used by health managers in the decision-making process. Future
developments of this study are calculation and presentation of the indicators for comparison among health
regions in Brazil and validation of the applied methodology.

Keywords: health indicators; appraisal of performance; Sistema Único de Saúde (Unified Health System);
health information systems; regional health planning.

Resumen
Estudio descriptivo de carácter operacional para identificar los indicadores para evaluar el desempeño de
las redes de atención de salud (RAS) para problemas de salud en el contexto de la regionalización del
Sistema Único de Saúde (Sistema Único de Salud). Los métodos incluyeron la realización de tres talleres
con especialistas de distintas áreas profesionales y aplicación de la Técnica de Grupo Nominal. Se priorizó
el cáncer de cuello uterino y se llegó a una composición final de diez indicadores para evaluación del
desempeño de las subdimensiones de los componentes de la estructura operativa de la RAS. Se concluye que
un conjunto de indicadores de resultados factibles y validados puede constituir un sistema para supervisar
y evaluar las RAS para subsidiar gerentes en la toma de decisiones. Futuros desarrollos de la investigación
son el cálculo y la presentación de los indicadores para comparación entre las regiones de salud brasileñas
y validación de la metodologia propuesta.

Palabras clave: indicadores de salud; evaluación del desempeño; Sistema Único de Saúde (Sistema Unico
de Salud); sistemas de información de salud; regionalización.

Informações do artigo

Contribuição dos autores:

Concepção e desenho do estudo: Daiane Ellwanger Araujo, Francisca Sueli da Silva Lima e Maria Margarita Urdaneta Gutierrez.
Aquisição, análise ou interpretação dos dados: Daiane Ellwanger Araujo, Francisca Sueli da Silva Lima e Maria Margarita Urdaneta Gutierrez.
Redação do manuscrito: Daiane Ellwanger Araujo, Edgar Merchan-Hamann, Josué Laguardia e Maria Margarita Urdaneta Gutierrez.
Revisão crítica do conteúdo intelectual: Edgar Merchan-Hamann e Josué Laguardia.

Declaração de conflito de interesses: Os autores declaram não existir conflito de interesse referente à elaboração do artigo.

Fontes de financiamentos: Não há.

Considerações éticas: Este trabalho não necessitou ser submetido previamente a conselho de ética.

Agradecimento/Contribuições adicionais: Os autores agradecem aos participantes das oficinas pela grande contribuição na
construção coletiva deste estudo.

Histórico do artigo: Submetido: 09.mar.2016 | Aceito: 18.jul.2016 | Publicado: 30.set.2016.

Apresentação anterior: Não há.

Licença CC BY-NC atribuição não comercial. Com essa licença é permitido acessar, baixar (download), copiar, imprimir,
compartilhar, reutilizar e distribuir os artigos, desde que para uso não comercial e com a citação da fonte, conferindo os devidos
créditos de autoria e menção à Reciis. Nesses casos, nenhuma permissão é necessária por parte dos autores ou dos editores.

2
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Introdução
Em virtude das transições demográfica e epidemiológica que vêm ocorrendo em âmbito mundial, tem-se
presenciado um envelhecimento da população aliado a uma queda relativa dos agravos agudos e a um aumento
crescente das condições crônicas de saúde1. No Brasil, estas mudanças vêm ocorrendo de forma significativa
a partir da segunda metade do século XX, e o país vivencia atualmente uma transição epidemiológica com
tripla carga de doenças em que, segundo Mendes2-3, persistem doenças infecciosas, desnutrição e problemas
de saúde reprodutiva concomitantemente com o incremento das doenças crônicas e de seus fatores de risco,
além do forte crescimento das causas externas de morbimortalidade.
As Redes de Atenção à Saúde (RAS) surgem, no âmbito do Sistema Único de Saúde (SUS), como uma
alternativa ao modelo assistencial caracterizado pela sua fragmentação, que resulta em um conjunto de
pontos de atenção à saúde isolados e sem comunicação entre si e, portanto, incapazes de prestar uma atenção
contínua e integral à população. As RAS, constituídas pela população, a estrutura operacional e o modelo de
atenção à saúde3 são o conjunto de ações e serviços de saúde articulados em níveis de complexidade crescente,
com a finalidade de garantir a integralidade da assistência à saúde4.
As RAS estão compreendidas no âmbito de uma Região de Saúde, ou de várias delas, em consonância com
diretrizes pactuadas nas Comissões Intergestores. De acordo com o Decreto nº 7508, de 2011, a Região de
Saúde é “o espaço geográfico contínuo constituído por agrupamentos de municípios limítrofes, delimitado a
partir de identidades culturais, econômicas e sociais e de redes de comunicação e infraestrutura de transportes
compartilhados”5. A regionalização, de acordo Viana e Lima6, “é um processo político que envolve mudanças
na distribuição de poder e o estabelecimento de um sistema de inter-relações entre diferentes atores sociais”
inseridos em espaços geográficos delimitados e que, por conseguinte, demanda “a formulação e implementação
de estratégias e instrumentos de planejamento, integração, gestão, regulação e financiamento de uma rede
de ações e serviços no território”. Desse modo, as RAS se apresentam como uma proposta integradora com
capacidade para dar respostas positivas à nova situação sanitária. Conforme Mendes3, existem experiências
internacionais de sucesso nesse sentido com melhora de resultados sanitários e econômicos, as quais poderiam
ser adotadas e adaptadas à realidade do sistema público de saúde brasileiro.
Assim, entre as diretrizes orientadoras do processo de implementação das RAS estão o desenvolvimento
de sistemas de apoio que têm como estratégias: a promoção de comunicação de todos os pontos de atenção
com a implementação de Registro Eletrônico em Saúde (RES); o avanço no desenvolvimento da gestão da
tecnologia de informação e comunicação em saúde; e a utilização de sistemas de informação em saúde (SIS)
como ferramentas importantes para construção do diagnóstico da situação de saúde, a fim de produzir
intervenções baseadas nas necessidades das populações4.
No Brasil, as primeiras experiências com as RAS ocorreram no início do século XXI e se disseminaram
pelo país, em geral sob a coordenação das secretarias de Saúde estaduais e sob a forma de redes temáticas.
As diretrizes para a sua organização, no âmbito do SUS, foram publicadas em 2010, pela Portaria GM/MS
n.º 4279, e definidas como uma “estratégia para superar a fragmentação da atenção e da gestão nas Regiões
de Saúde e aperfeiçoar o funcionamento político-institucional do SUS, com vistas a assegurar ao usuário o
conjunto de ações e serviços que necessita com efetividade e eficiência”4.
A avaliação do desempenho das RAS aparece nesse contexto como uma questão inerente à
gestão, de forma a possibilitar a verificação da coerência entre mudanças no modelo de atenção e
as necessidades da população. Para avaliação de desempenho de sistemas de saúde, Viacava e
colaboradores apresentaram, como resultado do Projeto de Avaliação de Desempenho do Sistema de
Saúde (Proadess), uma proposta de Matriz das dimensões de avaliação, na qual os indicadores estão
estruturados em quatro dimensões: determinantes da saúde, condições de saúde da população, sistema
de saúde e desempenho dos serviços de saúde7.

3
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Embora o desempenho dos serviços de saúde esteja condicionado à estrutura do sistema, que por sua
vez deve ser orientado pelos determinantes e condições de saúde, o objeto de análise deste artigo está
restrito à dimensão do desempenho dos serviços de saúde no contexto das RAS. Esta escolha justifica-se
pelo fato de ser esta dimensão a que influencia mais diretamente a atenção à saúde prestada, preservando
assim o enfoque nos resultados da situação de saúde da população.
A literatura a respeito de estudos sobre o tema de avaliação de desempenho das RAS no Brasil é escassa,
com uma lacuna nas normativas acerca da definição de mecanismos de monitoramento e avaliação de
desempenho. Com o propósito de identificar uma ferramenta que permita a avaliação do desempenho das
RAS, os autores partiram do marco conceitual das RAS proposto por Mendes2 associado à aplicação de
indicadores de desempenho propostos pelo Proadess.
Todavia, a avaliação de desempenho das RAS deve ser apoiada por informações de qualidade provindas
de SIS confiáveis, conforme destacado por Mendes2. O grande volume de dados captados nas RAS possibilita
a instituição de instrumentos para essa avaliação, implicando na apropriação sistemática e dinâmica dos
dados produzidos no processo de atenção à saúde, transformando-os de simples registros burocráticos em
“informação gerencial”8.
A experiência brasileira em SIS remonta aos anos de 19609. Ao longo das últimas três décadas, diversos
SIS contendo dados epidemiológicos, demográficos, assistenciais e administrativos de base nacional foram
estruturados no âmbito do SUS e amplamente disponibilizados para serem usados na construção de
indicadores para avaliação de desempenho das RAS3.
No entanto, conforme apontado por Panitz10, o modo como esses SIS foram instituídos reflete o próprio
sistema de atenção à saúde fragmentado, apresentando, por vezes, o que Mendes3 tem denominado de “[...]
problemas de excessividade injustificada e de baixa qualidade [...]”. Ademais, a ausência de padronização
técnica e semântica dos instrumentos de coleta, incluindo campos comuns de identificação, bem como a
concepção de sistemas que priorizam os objetivos administrativo-financeiros, em detrimento da avaliação
do cuidado em saúde, limitam as potencialidades dos diferentes SIS. A ausência de integração pode ter
impacto na qualidade das informações geradas e, por consequência, nos indicadores de desempenho
construídos com base nesses SIS.
É necessário, portanto, verificar se as informações disponíveis atendem às necessidades para a construção
de indicadores de avaliação de desempenho das RAS. Nesse contexto, o presente artigo busca responder
à seguinte questão norteadora: como avaliar o desempenho das RAS a partir de indicadores provenientes
de SIS de base nacional? Buscou-se, então, elaborar uma proposta de avaliação de desempenho mediante
a identificação de um agravo de saúde que perpasse, na sua linha de cuidado, os níveis de complexidade
da atenção. Tal agravo funcionaria, numa perspectiva sistêmica, como um evento sentinela que permitiria
a avaliação da rede incluindo instâncias de apoio, tais como os laboratórios e os próprios SIS, por meio de
indicadores que deverão atentar à necessidade de funcionamento integrado dos elementos das redes com
o objetivo de agregar valor à população em termos de melhores resultados de saúde11, motivo pelo qual se
entende o presente estudo como relevante para a área social e política no modelo de regionalização do SUS.

Estratégia metodológica
Com o intuito de selecionar o agravo e os respectivos indicadores de desempenho a serem abordados
no estudo descritivo de processo metodológico de natureza operacional foram realizadas três oficinas de
trabalho. A opção pelas oficinas como estratégias metodológicas de pesquisa decorreu do entendimento de
que esses espaços têm “potencial crítico de negociação de sentidos, permitindo visibilidade de argumentos,
posições, mas também deslocamentos, construção e contraste de versões”12.

4
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

A oficina I teve o seu planejamento estruturado em formato de roteiro, que continha os objetivos e
resultados esperados, além da descrição das atividades, a dinâmica de trabalho, agenda, matrizes de
indicação de agravos de saúde e de priorização de agravos de saúde e documentação de apoio. O objetivo foi
selecionar agravos de saúde que atendessem critérios definidos previamente para análise de desempenho
das RAS no SUS por meio da utilização de uma metodologia participativa geradora de consenso, a Técnica
de Grupo Nominal (TGN). A TGN foi desenvolvida na década de 1960 nos Estados Unidos da América para
pesquisas sociais na área de psicologia e permite selecionar, fazer julgamentos e desenvolver a criatividade
de sugestões para a resolução de um problema. Essa técnica vem sendo aplicada em diversas áreas como
saúde, educação, serviços sociais, indústria e governo13-14.
A TGN está estruturada para a geração de ideias coletivas por meio do incentivo à participação equilibrada,
minimizando as diferenças e permitindo a interação dos diversos saberes envolvidos no assunto. É utilizada
nos casos em que o tempo é um limitador para escolha de opções, tendo o objetivo de gerar consenso para
a tomada de decisões15. É um método que reúne especialistas escolhidos sobre o tema, também conhecido
por Painel de Especialistas, com cerca de 9 a 12 participantes, usualmente16. O termo nominal refere-se a
processos que reúnem os indivíduos, mas prescinde do debate entre eles17-18.
A TGN possibilita abordagens qualitativas não consideradas em métodos quantitativos, por considerar
opiniões de especialistas para resolução de problemas. Expressa as preferências do grupo, com base em uma
resposta construída por meio do anonimato, a respeito do que deve ser priorizado; a aplicação em etapas
permite aos participantes a mudança de opiniões; além disso, a TGN propicia o retorno dos resultados de
forma imediata e direta aos participantes por medidas estatísticas utilizadas na priorização14.
Originalmente consiste em cinco etapas, que se iniciam com as ideias geradoras, passam pela gravação
de ideias, discussão, votação, e finalizam com a soma das votações14. A TGN, todavia, pode ser adaptada
em relação às etapas16. Dessa forma, para o presente estudo, a técnica foi aplicada seguindo sete passos: (1)
definição de papéis (relator, coordenador e cronometrador), (2) objetivos, (3) chuva de ideias individuais,
(4) intercâmbio e registro de ideias, (5) discussão em grupo, (6) priorização individual pontuada com base
nos critérios definidos, e (7) conclusão. O detalhamento dos conceitos e as atividades de cada passo foram
esclarecidos aos participantes conforme descrição da dinâmica constante no roteiro da oficina.
Neste estudo, algumas reuniões de grupo nominal incorporaram revisão da literatura como material
de apoio para o tópico em discussão16. O material de apoio foi estruturado pela equipe de pesquisa e
compartilhado com os convidados em meio eletrônico, previamente à realização da oficina, com a utilização
da ferramenta de compartilhamento online ‘Dropbox’ e continha indicação de leituras e material consolidado
sobre as linhas de cuidado, diretrizes e políticas nacionais.
A Oficina I teve oito participantes, incluindo convidados de acordo com critérios de envolvimento
profissional ou acadêmico no âmbito das RAS e a equipe envolvida diretamente na pesquisa, com
atuação nas seguintes categorias: médico com experiência na atenção primária; enfermeiro da rede nível
ambulatorial; técnica da área de vigilância em saúde; aluno de pós-graduação em Saúde Coletiva – nível
mestrado profissional; docentes das áreas de planejamento, gestão e avaliação, epidemiologia e promoção
da saúde.
A dinâmica se desenvolveu por meio da atuação de um facilitador que conduziu o debate junto aos
especialistas, em uma reunião estruturada na qual os participantes relataram as suas opiniões e propostas,
além de realizar a discussão e priorização junto ao grupo15. Seu objetivo foi determinar até que ponto os
especialistas concordavam sobre determinado assunto, procurando superar desvantagens encontradas em
reuniões de grupos dominadas por indivíduos ou com a existência de interesses conflitantes com dificuldade
de consenso16.
O resultado esperado era a seleção de dois agravos de saúde que tivessem a atenção básica (AB) como
porta de entrada principal ao sistema, sendo priorizado para objeto deste estudo o agravo que teve maior

5
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

pontuação. Os critérios para seleção de agravos, definidos previamente pela equipe de pesquisa do projeto,
foram os seguintes: (1) utilização da AB como porta de entrada principal no sistema; (2) magnitude; (3)
possuir linhas de cuidado ou diretrizes preestabelecidas pelo Ministério da Saúde (MS); (4) perpassar
todos os níveis de atenção, desde a prevenção até tratamento e reabilitação; e (5) existência de SIS que
permitissem o seu monitoramento. Um critério adicional, incluído por sugestão unânime dos participantes,
foi que o agravo constituísse uma condição sensível à AB.
Com o propósito de atender à atividade de identificação dos indicadores de desempenho para o agravo
de saúde priorizado na Oficina I foram realizadas as Oficinas II e III. O resultado esperado era um elenco
de indicadores de desempenho selecionados para o agravo, de acordo com os componentes da estrutura
operacional das RAS definida por Mendes (Figura 1)3 e classificados segundo as seguintes subdimensões de
desempenho propostas no modelo de avaliação de Viacava e colaboradores7:
(1) efetividade; (2) acesso; (3) eficiência; (4) respeito ao direito das pessoas; (5) aceitabilidade; (6)
continuidade; (7) adequação; (8) segurança. Para este estudo, em uma proposta de adequação à avaliação
das RAS, foram selecionadas as de números 1, 2, 6 e 7, por ser possível mensurá-las em sistema de
indicadores com base em SIS nacionais.

Figura 1: Estrutura operacional das RAS

Fonte: Adaptado de Mendes (2011).

As dimensões selecionadas são definidas como:

• Efetividade: grau com que a assistência, os serviços e as ações atingem os resultados esperados;
• Acesso: capacidade do sistema de saúde para prover o cuidado e o serviço necessários, no
momento certo e no lugar adequado;
• Continuidade: capacidade do sistema de saúde prestar serviços de forma ininterrupta e
coordenada entre diferentes níveis de atenção;
• Adequação: grau com que os cuidados prestados às pessoas estão baseados no conhecimento
técnico-científico existente19.

A proposta de seleção dos indicadores foi detalhada no roteiro por meio de uma matriz estruturada adotando
conceitos da Ficha de qualificação do indicador, recomendados pela Rede Interagencial de Informações para a

6
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Saúde (RIPSA), sendo esta “o principal instrumento de orientação técnica [...] que esclarece os conceitos e critérios
adotados [...] para os indicadores”20.
Os mesmos componentes da Oficina I foram convidados para participar da Oficina II e fizeram a indicação
conjunta de indicadores de desempenho do agravo priorizado, preenchendo a matriz com o nome do indicador, a
estrutura operacional da RAS a que se refere, a subdimensão do desempenho e o método de cálculo. As informações
adicionais da matriz foram preenchidas pela equipe do projeto. As metas de desempenho foram discutidas
conforme os pontos de corte adequados a cada indicador.
A Oficina III, para validação qualitativa e seleção final dos indicadores, contou com a participação da equipe
do projeto de pesquisa e de um pesquisador com experiência na avaliação de desempenho do sistema de saúde
brasileiro e qualidade de vida.
Para validação qualitativa final foram consideradas as propriedades essenciais de um indicador, ou seja,
aquelas que qualquer indicador de programa deve apresentar e que sempre devem ser consideradas como critérios
de escolha: validade, confiabilidade e simplicidade. As propriedades complementares de um indicador, tais
como a sensibilidade, desagregabilidade, economicidade, estabilidade, mensurabilidade e auditabilidade foram
consideradas de forma secundária21. Além das propriedades levadas em conta, a análise para validação qualitativa
também considerou a necessidade de pertencerem a uma das subdimensões de desempenho definidas para o
estudo7, a um dos componentes da estrutura operacional da RAS3, assim como possuírem recomendações pelas
Diretrizes de controle do câncer de colo de útero22 e fontes de informações disponíveis, regulares e confiáveis para
o seu cálculo em base nacional.
Após a validação qualitativa final, realizou-se o detalhamento dos indicadores selecionados por meio da
construção das fichas de qualificação. Esse detalhamento foi realizado seguindo os padrões adotados pela RIPSA20.

Resultados
Na Oficina I fez-se a identificação de agravo de saúde pública que permitisse a análise de desempenho das
RAS em todos os seus níveis de atenção. Após a definição dos papéis de relator, coordenador e cronometrador
(passo 1) e dos objetivos da TGN (passo 2), iniciou-se a chuva de ideias individual (passo 3). Cada participante,
de forma individual, indicou quatro agravos de saúde que tivessem a AB como porta de entrada principal no
sistema. Nessa primeira rodada, os participantes anotaram individualmente suas indicações na “Matriz de
indicação de agravos de saúde”, marcando os critérios atendidos por cada uma delas.
Em seguida, fez-se o intercâmbio e registro de ideias (passo 4), com a anotação das indicações individuais
no quadro pelo relator, agrupando-se as indicações repetidas ou similares. Cada participante argumentou
acerca das suas indicações, porém sem perguntas, discussão e debate. Todas as ideias foram aceitas, sem
exceção, chegando-se ao resultado de seis agravos com a AB como porta de entrada principal no sistema:
sífilis congênita, diabetes mellitus, hipertensão arterial sistêmica, câncer de mama, câncer do colo do útero
e anemia falciforme.
Na discussão em grupo (passo 5), os participantes puderam realizar perguntas e tornar claras as
argumentações realizadas para as indicações, sendo possível nessa etapa uma análise em grupo das
vantagens e desvantagens de cada indicação e o debate que permitiu a reorganização.
Como o resultado esperado era a priorização de dois agravos de saúde, partiu-se para a priorização
individual (passo 6). Nessa segunda rodada, cada participante, de forma individual, classificava e ordenava
os agravos de acordo com a importância que lhes atribuía, priorizando, entre as indicações realizadas pelo
grupo, dois agravos que tivessem a AB como porta de entrada principal no sistema.
Os participantes utilizaram a “Matriz de priorização de agravos de saúde” para listar as principais
vantagens e desvantagens que os levaram à escolha e atribuindo pontuações entre 1 e 2 para os agravos
selecionados, em ordem crescente de priorização. O relator anotou no quadro as pontuações individuais

7
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

atribuídas pelos participantes para cada agravo, sendo considerado coletivamente com máxima prioridade
o agravo que recebesse a pontuação mais alta.
Na conclusão (passo 7), o relator calculou a pontuação final de cada agravo e apresentou a classificação
final tabulada. O câncer do colo do útero obteve a maior pontuação, com 12 pontos de 14 possíveis, seguido
pela hipertensão arterial sistêmica com quatro pontos. O quadro final de agravos indicados e agravo
priorizado pode ser visualizado no Quadro 1.

Quadro 1 - Matriz de consolidação de indicação e priorização de agravos de saúde

Agravos priorizados
Agravos indicados
Priorização Pontuação total

Atenção básica

Sífilis Congênita 2+1 3

Diabetes Mellitus 1 1

Hipertensão Arterial Sistêmica 1+1+1+1 4

Câncer de Mama 1 1

Câncer do Colo do Útero 2+2+2+2+2+2 12

Anemia Falciforme 0 0

Fonte: Elaborado pelos autores.

A seleção dos principais indicadores para monitoramento e avaliação do desempenho das RAS foi iniciada
por meio da Oficina II, a partir de uma revisão dos agravos priorizados na Oficina I e da apresentação da
Matriz de indicação de indicadores de desempenho. Foram sugeridos 18 indicadores para a prevenção,
diagnóstico e manejo do câncer do colo do útero conforme Quadro 2.

Quadro 2 - Indicadores sugeridos na Oficina II

Nome do indicador
Razão entre exames citopatológicos de colo do útero na faixa etária de 25 a 64 anos em relação à população-alvo
Mulheres cobertas pelo programa
Coletas anuais na mesma mulher
Coletas bianuais na mesma mulher
Recepção de exames citopatológicos de colo do útero
Lâminas rejeitadas
Amostras insatisfatórias
Exames realizados
Disponibilização do resultado do exame
Resultados entregues em até 30 dias
Exames normais
Exames alterados
Procedimento realizado
Exames indicativos de câncer
Exame citopatológico de colo do útero positivo encaminhado para biópsia com menos de 30 dias
Biópsia ou Tratamento in sito
Encaminhamento para atenção hospitalar
Realização de quimioterapia ou radioterapia

8
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Após o término da carga horária da Oficina II, pactuou-se com os participantes que a equipe do projeto
realizaria, até a data da Oficina III, a finalização da sugestão dos indicadores para o agravo do câncer do
colo do útero. A finalização seguiu as diretrizes da Política Nacional de Controle e Prevenção do Câncer do
Ministério da Saúde (MS) e as ações acompanhadas e recomendadas pelo Instituto Nacional do Câncer (Inca).
Por meio da revisão documental, alguns indicadores foram renomeados, outros substituídos ou
acrescentados para adequação às recomendações das diretrizes do controle do câncer do colo do útero
do Inca22. Os indicadores renomeados foram “Mulheres cobertas pelo programa”, “Lâminas rejeitadas”,
“Amostras insatisfatórias”, “Resultados entregues em até 30 dias” e “Exames alterados”, definidos
respectivamente como “Cobertura de exames citopatológicos do colo do útero em mulheres da população-
alvo de 25 a 64 anos”, “Percentual de exames rejeitados”, “Percentual de amostras insatisfatórias”,
“Proporção de exames citopatológicos do colo do útero liberados em até 30 dias” e “Índice de positividade”.
O indicador “Procedimento realizado” foi substituído por “Proporção de tratamentos iniciados em até 60
dias após a confirmação do diagnóstico de neoplasia”, uma vez que não estava claro a quais procedimentos
tinham se referido na sugestão inicial. Ademais, a Lei nº 12.732 de 201223 definiu o prazo de 60 dias para
início do tratamento após a confirmação diagnóstica de neoplasia, considerando para fins de tratamento
efetivamente iniciado a realização de terapia cirúrgica, quimioterapia ou radioterapia.
O indicador “Exames indicativos de câncer” foi desmembrado em dois: “Razão entre lesão de alto grau
e carcinoma epidermoide invasivo em exames citopatológicos de colo do útero” e “Razão entre exames
histopatológicos de colo do útero com diagnóstico NIC III e carcinoma invasor”. A justificativa para essa
substituição reside no fato de serem um detalhamento dos resultados diagnósticos indicativos de neoplasia
por meio dos exames citopatológicos e histopatológicos, acompanhados no Painel de indicadores do câncer
do colo do útero do Inca22.
O indicador de “Proporção de seguimento informado para mulheres com lesão intraepitelial de alto grau
do colo do útero” foi acrescentado por tratar-se do único indicador de diagnóstico e tratamento recomendado
pelo Inca por meio da Ficha técnica de indicadores das ações de controle do câncer do colo do útero, sendo
“fundamental para avaliação das ações do programa de controle deste câncer”24.
O “Percentual sem citologia anterior”, “Percentual com citologia anterior” e “Percentual sem informação
se houve citologia anterior” foram acrescentados nas sugestões por serem indicadores monitorados pelo
Inca, por meio do Painel de indicadores do câncer do colo do útero. Esses indicadores podem sinalizar a
capacidade da rede de realizar exames pela primeira vez, verificar a repetição de exames fora da periodicidade
e a necessidade de capacitações quanto ao preenchimento dos formulários e a qualidade da informação,
respectivamente22.
Os indicadores “Tempo de investigação diagnóstica”, “Percentual de exames de rastreamento na faixa
etária-alvo” e “Mulheres da população-alvo que realizaram exames de rastreamento” foram acrescentados por
possuírem informações com base em relatórios gerenciais disponíveis no Sistema de Informação do Câncer
(Siscan). Esses relatórios são atualizados de acordo com as informações registradas no sistema online.
A sugestão final de indicadores foi submetida à validação qualitativa na Oficina III. Foi apresentada como
sugestão uma relação com um total de 26 indicadores de desempenho referentes ao agravo do câncer do colo
do útero, conforme Quadro 3.
Partiu-se então para a etapa de aplicação dos critérios para a validação qualitativa, realizando uma análise
pontual de cada indicador selecionado. Nessa etapa, alguns indicadores foram desconsiderados no presente
estudo por não atenderem alguns dos critérios de validação definidos, conforme detalhamento a seguir:

1. Percentual sem citologia anterior, Tempo de investigação diagnóstica, Percentual de exames

de rastreamento na faixa etária-alvo, Mulheres da população-alvo que realizaram exames de
rastreamento e não possuíam as propriedades essenciais de um indicador;

9
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

2. Exames realizados, Exames normais, Exame citopatológico de colo do útero positivo encaminhado
para biópsia em menos de 30 dias, Biópsia ou Tratamento in sito, Encaminhamentos para atenção
hospitalar, Realização de quimioterapia ou radioterapia, Percentual com citologia anterior,
Percentual sem informação se houve citologia anterior não estavam adequados às recomendações
atualizadas das Diretrizes de controle do câncer do colo do útero do Inca22.
3. Coletas anuais na mesma mulher, Coletas bianuais na mesma mulher, Recepção de exames
citopatológicos de colo do útero, Disponibilização do resultado do exame, Proporção de segmento
informado para mulheres com lesão intraepitelial de alto grau do colo do útero não possuíam
informações disponíveis, regulares e confiáveis para o seu cálculo em base nacional:

Quadro 3 - Indicadores selecionados para validação qualitativa

Nome do indicador

Razão entre exames citopatológicos de colo do útero na faixa etária de 25 a 64 anos em relação à população-alvo.

Cobertura de exames citopatológicos do colo do útero em mulheres da população-alvo de 25 a 64 anos.

Coletas anuais na mesma mulher

Coletas bianuais na mesma mulher

Recepção de exames citopatológicos de colo do útero

Percentual de amostras rejeitadas

Percentual de amostras insatisfatórias

Exames realizados

Disponibilização do resultado do exame

Proporção de exames citopatológicos do colo do útero liberados em até 30 dias

Exames normais

Índice de positividade

Proporção de tratamentos iniciados em até 60 dias após a confirmação do diagnóstico de neoplasia

Razão entre lesão de alto grau e carcinoma epidermoide invasivo em exames citopatológicos de colo do útero

Razão entre exames histopatológicos do colo do útero com diagnóstico NIC III e carcinoma invasor

Exame citopatológico de colo do útero positivo encaminhado para biópsia com menos de 30 dias

Biópsia ou tratamento in sito

Encaminhamentos para atenção hospitalar

Realização de quimioterapia ou radioterapia

Proporção de seguimento informado para mulheres com lesão

Percentual sem citologia anterior

Percentual com citologia anterior

Percentual sem informação se houve citologia anterior

Tempo de investigação diagnóstica

Percentual de exames de rastreamento na faixa etária-alvo

Mulheres da população-alvo que realizaram exames de rastreamento

Fonte: Elaborado pelos autores.

10
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Tendo em vista a necessidade de análise da linha de cuidado do agravo em sua completude, desde o diagnóstico
até o desfecho final, incluiu-se o indicador de Taxa de mortalidade por câncer do colo do útero que, embora não
tivesse sido sugerido nas oficinas, foi considerado um indicador de desfecho importante a ser avaliado, inclusive
pelo fato de que o óbito é o único desfecho possível via SIS para o câncer do colo do útero, uma vez que pacientes
com diagnóstico confirmado permanecem em acompanhamento depois do tratamento. Ademais, o indicador
em questão é um dos indicadores de resultado e impacto recomendados pelo Inca22.
Chegou-se a uma composição final de 10 indicadores validados para o presente estudo, distribuídos entre
as subdimensões de desempenho e os componentes da estrutura operacional da RAS definidos: Centro
Comunicador, Sistemas de Apoio e Pontos de Atenção Secundários e Terciários (Quadro 4).

Quadro 4 - Indicadores de desempenho do câncer do colo do útero validados

Estrutura Subdimensão Nome do Método de Cálculo Fonte de

Operacional da do indicador Informação1
RAS desempenho
Centro Acesso Razão de exames N.º total de exames SIA; IBGE.
Comunicador citopatológicos citopatológicos do colo do útero
do colo do útero apresentados, na faixa etária de
na faixa etária 25 a 64 anos, dos residentes em
de 25 a 64 anos determinado local em período/
e a população (População feminina na faixa
feminina na etária de 25 a 64 anos, no mesmo
mesma faixa local e período/3)
etária
Centro Acesso/ Cobertura Nº total de mulheres, na faixa Siscan, IBGE
Comunicador Adequação de exames etária de 25 a 64 anos, que
citopatológicos realizaram exame citopatológico
do colo do útero do colo do útero nos últimos três
em mulheres da anos, residentes em determinado
população-alvo de local em período/População
25 a 64 anos feminina residente na faixa etária
de 25 a 64 anos, no mesmo local
e período

Centro Adequação/ Percentual N.º total de amostras rejeitadas Siscan

Comunicador Continuidade de amostras do exame citopatológico do
rejeitadas colo do útero liberadas, em
determinado local e período/N.º
total de exames citopatológicos do
colo do útero liberados no mesmo
local período *100

Centro Adequação/ Percentual N.º total de amostras Siscan

Comunicador Continuidade de amostras insatisfatórias do exame
insatisfatórias citopatológico do colo do útero
liberadas, em determinado local
e período/ Nº total de exames
citopatológicos do colo do útero
liberados no mesmo local e
período *100

Fonte: Elaborado pelos autores.

1 - Fonte de Informação: Sistema de Informação Ambulatorial do Sistema Único de Saúde (SIA); Censo Populacional
do Instituto Brasileiro de Geografia e Estatística (IBGE); Sistema de Informação do Câncer do Sistema Único de Saúde
(Siscan); Sistema de Informação de Mortalidade (SIM).

11
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Quadro 4 - Indicadores de desempenho do câncer do colo do útero validados

Estrutura Subdimensão Nome do Método de Cálculo Fonte de

Operacional da do indicador Informação1
RAS desempenho
Sistemas de apoio Adequação/ Proporção Nº total de exames citopatológicos Siscan
Continuidade/ de exames do colo do útero satisfatórios
Efetividade citopatológicos com resultados liberados em
do colo do útero até 30 dias após a coleta, em
liberados em até determinado local e período/N.º
30 dias total de exames citopatológicos
do colo do útero satisfatórios
liberados, no mesmo local e
período *100
Sistemas de apoio Adequação Índice de Nº total de exames citopatológicos Siscan
positividade do colo do útero liberados
com resultados alterados, em
determinado local e período/Nº
total de exames citopatológicos
do colo do útero satisfatórios
liberados, no mesmo local e
período *100
Sistemas de apoio Acesso/ Razão entre N.º total de exames Siscan
Adequação/ lesão de alto citopatológicos do colo do útero
Efetividade grau e carcinoma liberados com resultado de lesão
epidermoide de alto grau, em determinado
invasivo local e período/ N.º total de
em exames exames citopatológicos do colo do
citopatológicos de útero liberados com resultado de
colo do útero. carcinoma epidermoide invasivo,
no mesmo local e período
Sistemas de apoio Acesso/ Razão entre N.º total de exames Siscan
Adequação/ exames histopatológicos do colo do
Efetividade histopatológicos útero liberados com resultado de
do colo do útero NIC III, em determinado local
com diagnóstico e período/N.º total de exames
NIC III e histopatológicos do colo do
carcinoma invasor útero liberados com resultado de
carcinoma invasor, no mesmo local
e período
Pontos de Acesso/ Proporção de N.º total de tratamentos iniciados Siscan
Atenção Adequação/ tratamentos em até 60 dias após a confirmação
Secundários e Continuidade/ iniciados em até do diagnóstico de neoplasia do
Terciários Efetividade 60 dias após a colo do útero, em determinado
confirmação do local e período/N.º total de
diagnóstico de diagnósticos confirmados de
neoplasia neoplasia do colo do útero, no
mesmo local e período * 100
Pontos de Acesso/ Taxa de Nº total de óbitos por câncer do SIM, IBGE
Atenção Adequação/ mortalidade por colo do útero, em determinado
Secundários e Continuidade/ câncer do colo do local e ano / População feminina,
Terciários Efetividade útero no mesmo local e ano X 100.000

Fonte: Elaborado pelos autores.

1 - Fonte de Informação: Sistema de Informação Ambulatorial do Sistema Único de Saúde (SIA); Censo Populacional
do Instituto Brasileiro de Geografia e Estatística (IBGE); Sistema de Informação do Câncer do Sistema Único de Saúde
(Siscan); Sistema de Informação de Mortalidade (SIM).

12
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Discussão
A partir de um método de priorização de agravo de saúde pública foi possível a indicação, seleção e
validação qualitativa de indicadores de desempenho que atendessem a critérios de qualidade recomendados
pelo Ministério do Planejamento e a critérios específicos da área de saúde pública, de modo a torná-los
viáveis à avaliação das RAS. A participação de especialistas interdisciplinares foi de suma importância para
a confiabilidade e validade das decisões tomadas pelos grupos, além do alinhamento à base documental.
As metodologias qualitativas de consenso vêm constituindo, ao longo das últimas décadas, as técnicas
mais apropriadas para a produção de critérios ou indicadores na área de avaliação de intervenções,
especialmente na ausência de parâmetros científicos e técnicos reconhecidos e validados15. As características
da TGN, como anonimato, interação e resposta estatística ao grupo contribuem para a sua difusão e
aplicação na pesquisa social, em áreas como a saúde e educação16.
Em estudo realizado sobre violência doméstica, abuso sexual e exploração de crianças e adolescentes,
Deslandes e colaboradores consideram que a TGN, além de ser tecnicamente recomendada, vai além de uma
estratégia metodológica, expressando um princípio ético e de descoberta que valoriza as opiniões, conhecimentos
e experiências dos especialistas como parceiros na produção do conhecimento15. Uma das principais vantagens
dessa técnica, que se comprovou no presente estudo, foi a produção de grande número de ideias, com um maior
potencial para a tomada de decisão e satisfação dos participantes, que se sentiram contemplados nas deliberações
das oficinas e seus produtos, tendo em vista o processo colaborativo construído14,18.
A TGN exige a preparação prévia, que inclui pesquisa e organização de material de apoio no sentido
de subsidiar oportunamente os integrantes do grupo, o que é apontado por alguns autores como uma
limitação. Outra limitação diz respeito a prestar-se a apenas um único tópico, tendo em vista o reduzido
tempo disponível, o que também minimiza a discussão e o pleno desenvolvimento das ideias. Por fim, sua
validação científica fica comprometida por ser aplicada a um grupo pequeno de especialistas selecionados
e não ter a representatividade que apresentam outras técnicas17. Outros métodos de consenso, como a
técnica Delphi, compartilham das mesmas limitações, tais como a relação direta entre a confiabilidade
dos resultados e o número de participantes e o número de rodadas, o efeito de fadiga dos participantes e o
aumento dos custos à medida que aumenta o número de rodadas25.
Os resultados esperados com a aplicação da TGN foram alcançados com indicadores selecionados que
contemplam as subdimensões de desempenho preconizadas para avaliação de sistemas de saúde, de forma
adaptada às RAS. Por outro lado, foi possível qualificar a estrutura operacional da rede de atenção à saúde
do câncer do colo do útero, representada no seu Centro Comunicador, Sistemas de Apoio e Pontos de
Atenção Secundários e Terciários.
Os indicadores validados organizados em fichas de qualificação dentro das recomendações da RIPSA
demonstram as suas características estruturantes e a organização de um sistema de monitoramento e
avaliação de desempenho para a política pública relacionada ao agravo do câncer do colo do útero. A sua
aplicação, contudo, é que poderá apontar para a adequação da técnica ou necessidade de reestruturação.

Conclusão
A despeito das experiências internacionais de avaliação de desempenho em sistemas de atenção
integrados3, faz-se necessário o uso de modelos de avaliação adaptados ao sistema de saúde brasileiro7 e à sua
situação epidemiológica, que convive com condições agudas e condições crônicas, essas últimas em ascensão1.
O SUS possui diversos SIS de base nacional que captam informações10 por meio das quais é possível construir
indicadores de desempenho factíveis de serem calculados e de acordo com critérios desejáveis de seleção de

13
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

um indicador, além de representarem as diferentes subdimensões de desempenho na estrutura operacional

das RAS.
O conjunto de indicadores selecionados segundo a linha de cuidado de um agravo priorizado, mediante
técnica de consenso, é um aspecto positivo deste estudo por permitir uma análise do desempenho sob a
perspectiva da continuidade do cuidado. A limitação, contudo, decorre da disponibilidade dos dados com
abrangência para as regiões de saúde com a qualidade e atualização que se fazem necessárias.
A tecnologia da informação e a utilização de indicadores na avaliação de desempenho das RAS são
elementos de apoio que possibilitam a integração entre os pontos de atenção e uma análise do atendimento às
prerrogativas da integralidade da atenção com vistas à nova situação epidemiológica. Segundo Mendes, esses
elementos são apontados pela Organização Mundial de Saúde (OMS) como parte das ações principais de um
plano estratégico de mudança nos sistemas de atenção à saúde3. Esse processo implica o julgamento de valor
sobre uma intervenção para racionalizar o processo decisório e a existência de informações gerenciais em
saúde de qualidade que subsidiem a estruturação, cálculo e acompanhamento de indicadores de desempenho.
O monitoramento e avaliação na gestão pública necessitam estar devidamente amparados em um conjunto
de indicadores que traduzam a situação do sistema de saúde21. O cálculo e a apresentação desses indicadores
possibilitará a comparabilidade nas diferentes regiões de saúde do país, de forma a auxiliar os gestores na
tomada de decisão no que diz respeito à adequação da rede, à infraestrutura, à qualidade da atenção, ao acesso
aos serviços, à efetividade e à continuidade da assistência garantindo a integralidade da atenção. Nesse contexto,
tem-se como perspectivas futuras a este estudo o cálculo e a apresentação dos indicadores validados para
avaliação do desempenho da RAS do câncer do colo do útero por Região de Saúde, possibilitando assim a sua
aplicação prática e a validação da metodologia de seleção de indicadores de desempenho realizada.
Espera-se que o resultado deste estudo oriente a avaliação da estrutura operacional da RAS e identifique
pontos críticos que exijam maiores esforços e investimentos dos gestores no aprimoramento do sistema de
atenção à saúde no tocante ao câncer de colo do útero, bem como pontos positivos que favoreçam o atendimento
em saúde integral adequado à situação sanitária. A presente proposta metodológica vai além do foco avaliativo
dos aspectos normativos e de governança, preenchendo uma lacuna ao contemplar aspectos relacionados à
atenção no que diz respeito à resolução dos problemas de saúde da população.

Referências
1. Omram AR. The epidemiologic transition: a theory of the epidemiology of population change. Bull World
Health Organ [Internet]. 2001 [cited 2015Oct26];79(2):161-70. Available from: http://www.ncbi.nlm.
nih.gov/pmc/articles/PMC2566347/

2. Mendes EV. As redes de atenção à saúde. Ciênc. Saúde Coletiva [Internet]. 2010 ago [citado em 2015
out 26];15(5):2297-2305. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-
81232010000500005&lng=en. http://dx.doi.org/10.1590/S1413-81232010000500005. Acesso em: 01 set. 2015.

3. Mendes EV. As redes de atenção à saúde. Brasília: Organização Pan-Americana da Saúde; 2011.

4. Brasil. Portaria n. 4279 de 30 de dezembro de 2010 [Internet]. Estabelece diretrizes para a organização
da rede de atenção à saúde no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União.
Brasília (DF), 2010 [citado em 2014 abr 26]. Disponível em URL:http://bvsms.saude.gov.br/bvs/
saudelegis/gm/2010/prt4279_30_12_2010.html.

5. Brasil. Decreto n.º 7508, de 28 de junho de 2011 [Internet].Regulamenta a Lei no 8.080, de 19 de

setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde - SUS, o planejamento
da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial
da União. Brasília (DF), 2011 29 jun [citado em 2015 29 maio 2015]. Disponível em: http://www.
planalto.gov.br/ccivil_03/_ato2011-2014/2011/decreto/D7508.htm.

6. Viana ALDL, Luciana D. O processo de regionalização na saúde: contextos, condicionantes e papel das
comissões Intergestores Bipartites. In: ______.,organizadores. Regionalização e relações federativas na
política de saúde do Brasil. Rio de Janeiro: Contra Capa, 2011. p. 11-24.

14
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

7. Viacava F, Ugá MAD, Porto S, Laguardia J, Moreira, RS. Avaliação de desempenho de sistemas de saúde:
um modelo de análise. Ciênc.Saúde Coletiva [Internet], 2012 [citado em 26 out. 2015];17(4):921-34.
Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232012000400014&lng
=en&nrm=iso&tlng=pt.

8. Cecílio LCO. A epidemiologia na avaliação dos serviços de saúde: a discussão da qualidade. Saude soc.
[Internet]. 1995 [citado em 26out. 2015];4(1-2):115-17. Disponível em: http://www.scielo.br/scielo.
php?script=sci_arttext&pid=S0104-12901995000100024&lng=en. http://dx.doi.org/10.1590/S0104-
12901995000100024.

9. Loureiro S. Sistema único de informação em saúde?integração dos dados da assistência suplementar

à saúde ao sistema SUS [Internet]. In: Agência Nacional de Saúde Suplementar. Documentos técnicos
de apoio ao Fórum de Saúde Suplementar de 2003, tomo 2. Rio de Janeiro, Agência Nacional de Saúde
Suplementar, 2004 [citado em 26 out 2015]. Disponível em: http://saudepublica.bvs.br/pesquisa/
resource/pt/sus-18289.

10. Panitz L. Registro eletrônico de saúde e produção de informações da atenção à saúde no SUS
[Dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca; 2014.

11. Porter ME, Teisberg EO. Repensando a saúde: estratégias para melhorar a qualidade e reduzir os custos.
Porto Alegre: Bookman Companhia Editora; 2007.

12. Spink MJ, Menegon VM, Medrado B. Oficinas como estratégia de pesquisa: articulações teórico-
metodológicas e aplicações ético-políticas. Psicol Soc. 2014 [citado em 26 out 2015];26(1):32-43.
Disponível em: http://www.scielo.br/pdf/psoc/v26n1/05.pdf

13. Cassiani SHB, Rodrigues LPA. Técnica de Delphi e a técnica de grupo nominal como estratégia de coleta
de dados das pesquisas em Enfermagem. Acta Paul Enferm 1996 maio/jun;9(3):76-83.

14. TotikidisV. Applying the Nominal Group Technique (NGT) in community based action research for health
promotion and disease prevention. Aus Commun Psychol [Internet]. 2010 [cited 26 Oct 2015];22(1):18–
29. Available from: https://groups.psychology.org.au/Assets/Files/Totikidis.pdf

15. Deslandes SF, Mendes CHF, Pires TO, Campos DS.Uso da Técnica Grupo Nominal e do Método
Delphi para a elaboração de indicadores de avaliação das estratégias de enfrentamento da violência
contra crianças e adolescentes no Brasil. Rev. Bras. Saúde Mater. Infant. [Internet] 2010 nov [citado
em 2016 fev 15];10 (supl 1):s29-s37. Disponível em: http://www.scielo.br/scielo.php?script=sci_
arttext&pid=S1519-38292010000500003&lng=en.

16. Jones J, Hunter D. Qualitative research: consensus methods for medical and health services research.
British Med J. 1995;311:376-80.

17. Potter M, Gordon S, Hamer P. The nominal group technique: a useful consensus methodology in
physiotherapy research. New Zeal J Physiotherapy. 2004;32(3):126-30.

18. Gaining concensus among stakeholders through the nominal group technique [Internet]. Eval Briefs. 2006
Nov [cited 26 Oct 2015];(6):1-2. Available from: http://www.cdc.gov/healthyyouth/evaluation/pdf/brief7.pdf.

19. Fundação Oswaldo Cruz, Instituto de Comunicação e Informação em Ciência e Tecnologia. PROADESS:
avaliação de desempenho do sistema de saúde brasileiro: indicadores para monitoramento:relatório final
[Internet].Rio de Janeiro, 2011[cited 26 Oct 2015]. Disponível em: http://www.proadess.icict.fiocruz.br/
SGDP-RELATORIO_FINAL%20_com_sumario_atualizadorev%202014.pdf

20. Rede interagencial de informação para a saúde indicadores básicos para a saúde no Brasil: conceitos e
aplicações [Internet]. 2nd ed. Brasília (DF): Organização Pan-Americana da Saúde, 2008. Disponível em:
http://tabnet.datasus.gov.br/tabdata/livroidb/2ed/indicadores.pdf

21. Brasil. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos

Estratégicos. Indicadores de programas: guia metodológico [Internet]. Brasília (DF), 2010 [acesso
em 26 out 2015]. Disponível em: http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/
publicacoes/100324_indicadores_programas-guia_metodologico.pdf.

22. Instituto Nacional do Câncer José Alencar Gomes da Silva. Painel de indicadores do câncer do colo
do útero [Internet]. c2016 [citado em 26 out 2015]. Disponível em: http://www2.inca.gov.br/wps/
wcm/connect/acoes_programas/site/home/nobrasil/programa_nacional_controle_cancer_colo_utero/
indicadores/.

23. Brasil. Lei n. 12.732, de 22 de novembro de 2012 [Internet]. Dispõe sobre o primeiro tratamento de
paciente com neoplasia maligna comprovada e estabelece prazo para seu início. Diário Oficial da União.

15
RECIIS – Rev Eletron Comun Inf Inov Saúde. 2016 jul.-set.; 10(3) | [www.reciis.icict.fiocruz.br] e-ISSN 1981-6278

Brasília (DF), 2012 23 nov [citado em 26 out 2015]. Disponível em: http://www.planalto.gov.br/
ccivil_03/_ato2011-2014/2012/lei/l12732.htm

24. Instituto Nacional do Câncer José Alencar Gomes da Silva. Coordenação Geral de Prevenção e Vigilância.
Divisão de Detecção Precoce e Apoio à Organização de Rede. Ficha técnica de indicadores das ações
de controle do câncer do colo do útero [Internet]. 2014[citado em 26 out 2015]. Disponível em: http://
www2.inca.gov.br/wps/wcm/connect/84f26080469faa79859bed5120665fa8/FICHA+T%C3%89CNICA+I
ndicadores+Colo+14.pdf?MOD=AJPERES&CACHEID=84f26080469faa79859bed5120665fa8.

25. Fink A., Kosecoff J, Chassin M, Brook RH. Consensus methods: characteristics and guidelines for use
[Internet]. Am J Public Health 1984 Sept, [cited 2016 Oct 26];74(9):979-83. Available from: http://www.
ncbi.nlm.nih.gov/pmc/articles/PMC1651783/

16