Usuário(a):Jamilesabbad/Testes

Um diagrama de 1969 que mostra como um programa de computador simples toma decisões, ilustrando um algoritmo muito básico.

Discriminação algorítmica é um conceito que corresponde ao ato de algoritmos tomarem atitudes discriminatórias ou exclusórias em relação a grupos específicos de seres humanos, especialmente quanto a minorias. Estas atitudes podem ser desde simples erros em detecções faciais, até a condenação de um indivíduo por algoritmos jurídicos baseado em suas características raciais ou de gênero.

Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência Artificial e aprendizado de máquina, nas quais decisões têm de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório. A discriminação algorítmica está diretamente relacionada ao viés algorítmico.

Definição

Pela definição do The Blueprint for an AI Bill of Rights a "discriminação algorítmica" ocorre quando sistemas automatizados contribuem para tratamento ou impactos injustificados desfavoráveis a pessoas com base em sua raça, cor, etnia, sexo, gravidez, parto e condições médicas relacionadas, identidade de gênero, identificação intersex e orientação sexual, religião, idade, origem nacional, deficiência, status de veterano, informações genéticas ou qualquer outra classificação protegida por lei. Dependendo das circunstâncias específicas, essa discriminação algorítmica pode violar as proteções legais.

A definição de discriminação é o ato de fazer distinções injustificadas entre pessoas com base em grupos, classes ou outras categorias das quais elas são consideradas pertencentes. As pessoas podem ser discriminadas com base em raça, sexo, gênero, idade, religião, deficiência, status migratório, orientação sexual, identidade de gênero, expressão de gênero, características sexuais.

Um algoritmo pode ser compreendido como uma receita de bolo que pode alcançar o resultado almejado se a receita for seguida à risca, dessa forma os algoritmos são sequências finitas de instruções que guiam o computador a realizar alguma ação. Ou seja, as máquinas são controladas pelos algoritmos.

Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência Artificial e aprendizado de máquina, nas quais decisões têm de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório. A discriminação algorítmica está diretamente relacionada ao viés algorítmico.

Viés algorítmico

Um fluxograma mostrando as decisões tomadas por um mecanismo de recomendação.

O viés (em inglês bias) é um conceito que pode ser descrito como a "distorção do julgamento de um observador por estar ele intimamente envolvido com o objeto de sua observação". O viés algorítmico é uma tendência sistemática do modelo a fazer previsões ou classificações tendenciosas, afetando a veracidade, precisão e justiça dos resultados. Essa é uma consequência, proposital ou não, está relacionada à construção de algoritmos, tendo em vista que quando uma máquina é treinada para ter uma inteligência artificial, ela necessita passar por um processo de aprendizagem para que tome as decisões que o seu criador julga corretas. Para que isso ocorra, é necessária uma grande quantidade de aprendizado de dados para que ela treine seu conhecimento sobre a decisão a ser tomada baseada em uma função de decisão escolhida no seu desenvolvimento.

Como os algoritmos de aprendizagem de máquina são relacionados a pessoas, eles podem apresentar um viés discriminatório por diversos fatores, tanto relacionados ao seu treinamento (reflexo do mercado de tecnologia ou da escolha dos dados) quanto à sua implementação (interpretação dos resultados pelo ser humano) e isso é chamado de viés algorítmico.

Casos reais de vieses algorítmicos

A pesquisa “Quem Coda BR”, realizada pelo PretaLab em parceria com a Thoughtworks, levantou dados sobre o perfil dos profissionais de tecnologia no Brasil, isto é, sobre os “criadores” de diversas inteligências artificiais. Conduzido entre novembro de 2018 e março de 2019, o estudo contou com a participação de 693 pessoas de 21 estados brasileiros, incluindo o Distrito Federal, que atuavam em empresas focadas em tecnologia ou em departamentos tecnológicos de diversas instituições.

Os resultados evidenciam a falta de diversidade nas equipes de tecnologia: em 64,9% dos casos, as mulheres representam, no máximo, 20% das equipes; em 77,1%, um máximo de 10% dos integrantes se declara como pertencente a uma orientação sexual diferente da heterossexual; e em 88,4%, não há nenhuma autodeclaração de gênero diverso de homem e mulher.

Esse estudo oferece um retrato do mercado tecnológico no Brasil e conclui que esse setor é predominantemente ocupado por homens brancos, jovens de classe socioeconômica média e alta, que frequentemente iniciam suas trajetórias profissionais em instituições de ensino formais. Essa realidade indica que o viés discriminatório pode refletir o próprio mercado de tecnologia que desenvolve esses sistemas, que muitas vezes escolhe os dados utilizados no seu desenvolvimento. Quando os desenvolvedores não pertencem a grupos minoritários, eles podem ser parciais quanto aos dados que fornecem à inteligência artificial, não percebendo a falta de representatividade do banco de dados. Isso resulta na perpetuação de preconceitos, que se manifestam nos algoritmos e que impactam negativamente a vida de indivíduos que não estão adequadamente representados nas amostras de dados.

Um exemplo é o caso da pesquisadora Joy Buolamnwini, que identificou a falta de diversidade no banco de dados utilizado para desenvolver um algoritmo de reconhecimento facial enquanto realizava testes com seu próprio rosto, sendo uma mulher negra. O sistema, que foi desenvolvido durante seu tempo no MIT, era eficaz em reconhecer os rostos de seus colegas brancos, mas falhou ao tentar reconhecer o dela. Apenas quando Joy colocou uma máscara branca de fantasia o algoritmo foi capaz de identificá-la corretamente. Esse episódio revela como a falta de diversidade nos dados pode comprometer a eficácia de tecnologias como o reconhecimento facial, e destaca a importância de testá-las em populações diversas.

Tipos de vieses algorítmicos

Estes são os principais tipos de viés algorítmico e os que ocorrem com a maior frequência:

Viés racial

Refere-se a ações algorítmicas discriminatórias que resultam em tratamentos desiguais às pessoas com base na sua raça, cor, descendência ou origem nacional ou étnica, seja pelo racismo estrutural ou por expectativas sociais enraizadas. Esse viés, também conhecido como racismo algorítmico,  se  expressa a partir das desigualdades políticas, econômicas e jurídicas próprias do racismo estrutural, e não de falhas pontuais do uso e produção da tecnologia em cada caso concreto. Um exemplo é o uso de algoritmos de reconhecimento facial que apresentam maiores taxas de erro ao identificar pessoas negras ou de outras etnias não brancas, em comparação a indivíduos brancos. Um caso ocorreu quando um sistema de reconhecimento facial usado pela polícia identificou erroneamente um homem negro como suspeito de um crime que não cometeu, levando a uma prisão injusta. Isso ocorre porque muitos desses algoritmos são treinados em bases de dados com predominância de rostos brancos, perpetuando preconceitos raciais. Outro exemplo seria um algoritmo utilizado por empresas de crédito ou por seguradoras, que pode classificar de forma desigual pessoas negras com base em dados históricos enviesados, como locais de residência ou histórico familiar, agravando a desigualdade no acesso a serviços financeiros.

Viés social

Refere-se a ações algorítmicas discriminatórias que resultam em tratamento desigual ou segregação de um indivíduo com base em sua classe social. O preconceito social pode ser chamado de elitismo classista e pode se manifestar de várias formas em processos automatizados que utilizam inteligência artificial. Um exemplo seria um sistema de análise de crédito que, ao avaliar uma solicitação de empréstimo, atribui uma pontuação menor a indivíduos de classes sociais mais baixas, com base em fatores como o endereço residencial ou histórico educacional, mesmo que a pessoa tenha um bom histórico financeiro. Outro exemplo seria um sistema de recrutamento automatizado que favorece candidatos de escolas particulares, descartando automaticamente aqueles que estudaram em instituições públicas ou em áreas periféricas, independentemente de suas qualificações profissionais ou habilidades. Além disso, um sistema de recomendação de serviços pode oferecer produtos ou oportunidades de trabalho de menor remuneração para pessoas de classes sociais mais baixas, perpetuando a segregação e as desigualdades socioeconômicas.

Viés de gênero

Refere-se a ações algorítmicas preconceituosas que acarretam resultados desiguais às pessoas com base no seu gênero, seja por expectativas sociais, estereótipos ou normas culturais. Além disso, inclui discriminação contra pessoas intersexo ou que se identificam fora do binário masculino/feminino. Esse tipo de viés pode se manifestar de várias maneiras em processos automatizados com uso de inteligência artificial, um exemplo comum é um sistema de recrutamento que, ao analisar currículos, favorece homens para cargos de liderança e tecnologia, enquanto subestima candidatas mulheres ou pessoas de outros gêneros para essas mesmas posições. Isso pode ocorrer porque o algoritmo foi treinado com dados históricos em que homens predominavam em tais cargos, perpetuando a desigualdade. Outro exemplo seria um sistema de recomendação de anúncios que, ao promover oportunidades de emprego ou produtos, exibe vagas de trabalho na área de cuidados e educação predominantemente para mulheres, reforçando estereótipos de gênero. Além disso, algoritmos de identificação de gênero podem falhar em reconhecer adequadamente pessoas que se identificam fora do binário masculino/feminino, como indivíduos não-binários, ou podem discriminar pessoas intersexo, ao não permitir que selecionem sua identidade de gênero em formulários ou sistemas automatizados.

Viés relacionado à orientação sexual

Refere-se a ações algorítmicas que resultam em tratamento desigual às pessoas com base em sua orientação sexual, ou seja, com base na atração ou sentimentos românticos, emocionais e/ou físicos de alguém por pessoas do mesmo gênero, de um gênero diferente ou de mais de um gênero. São exemplos de orientação sexual, a heterossexualidade, homossexualidade, bissexualidade, pansexualidade, assexualidade, intersexualidade, mas ainda há uma ampla gama de outras expressões de orientação sexual. Esse tipo de viés pode se manifestar por meio da homofobia, intersexofobia/interfobia, assexofobia, bifobia, discurso de ódio e até o crime de ódio.Um exemplo desse viés seria um algoritmo que gera avatares digitais ou imagens de perfil para redes sociais, excluindo ou distorcendo características sexuais importantes de uma pessoa intersexo, representando-a de forma padronizada e invisibilizando sua identidade física. Da mesma forma, um software de reconhecimento facial pode apresentar dificuldade em identificar corretamente indivíduos trans ou intersexuais devido a padrões baseados em uma concepção binária de sexo, o que pode levar a erros de identificação ou exclusão de pessoas cujas características sexuais não se enquadram nessas normas rígidas.

Viés relacionado às características sexuais

Refere-se a ações algorítmicas que resultam em tratamento desigual às pessoas com base em suas características físicas relacionadas ao sexo, incluindo anatomia sexual, órgãos reprodutivos, padrões hormonais, cromossômicos e características físicas secundárias que surgem na puberdade, como o tom de voz, crescimento de pelos corporais/faciais ou desenvolvimento de seios. Um exemplo desse viés pode ocorrer em plataformas de saúde que utilizam inteligência artificial para avaliar riscos médicos, onde o sistema subestima o risco de doenças cardíacas em mulheres porque baseia suas análises em dados históricos predominantemente masculinos. Isso ocorre porque características sexuais específicas, como níveis hormonais ou o impacto de condições como a menopausa, não são devidamente considerados nos cálculos, levando a diagnósticos menos precisos para pessoas do sexo feminino.

Viés religioso

Refere-se a ações algorítmicas preconceituosas que, ao avaliarem informações, reforçam crenças religiosas, resultando em avaliações desiguais ou injustas com base na escolha religiosa de uma pessoa. Esse viés pode ser influenciado por expectativas sociais, estereótipos ou normas culturais. No Brasil, as religiões de matriz africana frequentemente sofrem maior discriminação e intolerância religiosa, devido à sua origem étnica e cultural, em função do racismo estrutural. Esse viés pode se manifestar quando, em um processo automatizado, uma inteligência artificial considera a religião de uma pessoa em um contexto onde essa informação é irrelevante, como em uma candidatura para um cargo de gestão em uma empresa pública brasileira, onde a laicidade deveria ser uma premissa essencial, conforme leis nacionais.

Viés relacionado à idade

Refere-se a ações algorítmicas preconceituosas que acarretam resultados desiguais às pessoas com base na sua idade, seja por expectativas sociais, estereótipos ou normas culturais. Esse tipo de viés pode ser chamado de etarismo, discriminação etária, discriminação generacional, etaísmo ou idadismo e se manifesta de diversas maneiras, como subestimar as capacidades de alguém por ser da terceira idade ou por ser adolescente. Um exemplo seria um sistema de recrutamento automatizado que, ao avaliar candidatos para uma vaga de emprego, descarta automaticamente pessoas acima de 60 anos por considerar, com base em estereótipos, que elas não possuem habilidades tecnológicas suficientes, ou, por outro lado, rejeita candidatos adolescentes para uma posição de liderança por acreditar que lhes falta maturidade, mesmo sem uma análise concreta das suas competências. Isso resulta em decisões discriminatórias que ignoram a experiência e as habilidades reais do indivíduo.

Viés relacionado à nacionalidade

Refere-se a ações algorítmicas preconceituosas que resultam em decisões desiguais às pessoas com base na sua nacionalidade ou no seu status migratório, acarretando intolerância contra indivíduos de outras nacionalidades. Essa discriminação, também conhecida como xenofobia, pode se manifestar em diversos contextos, inclusive em países com grande extensão territorial, como o Brasil, onde discursos de ódio podem ser dirigidos a pessoas oriundas de regiões ou estados específicos. Um exemplo seria um sistema de análise de crédito automatizado que, ao avaliar o perfil de um cliente para a concessão de um empréstimo, atribui uma pontuação mais baixa para estrangeiros ou migrantes, sem levar em consideração seus reais antecedentes financeiros. Outro caso poderia ocorrer em plataformas de recrutamento que favorecem candidatos de estados do Sudeste do Brasil em detrimento de candidatos do Norte ou Nordeste, com base em preconceitos regionais enraizados, sem analisar de forma justa as qualificações e competências dos indivíduos.

Viés relacionado à deficiência

Refere-se a ações algorítmicas preconceituosas que resultam em decisões desiguais às pessoas com base em deficiências físicas ou intelectuais: Esse tipo de viés pode incluir discriminação direta ou indireta contra indivíduos, levando em conta, de forma inadequada, limitações físicas ou cognitivas que não são relevantes para o contexto da decisão. Um exemplo seria um sistema de recrutamento automatizado que, ao identificar uma deficiência física no histórico de um candidato, descarta automaticamente sua candidatura para uma vaga que poderia ser perfeitamente executada com adaptações mínimas, violando o princípio da acessibilidade. Outra manifestação desse viés pode ocorrer quando algoritmos de seguros de saúde analisam informações genéticas de uma pessoa para definir prêmios ou condições de cobertura, penalizando aquelas que possuem predisposições genéticas para determinadas condições de saúde, mesmo que tais predisposições não estejam necessariamente relacionadas ao seu estado atual de saúde ou à sua capacidade de trabalho.

Viés político

Refere-se a ações algorítmicas que resultam em tratamento desigual ou manipulação de informações com base em afiliações ou ideologias políticas. Esse tipo de viés pode manifestar-se em plataformas digitais que utilizam algoritmos para personalizar o conteúdo exibido aos usuários, criando bolhas de informação que reforçam crenças pré-existentes e limitam a exposição a perspectivas divergentes. Um exemplo desse fenômeno é observado nas eleições no Brasil onde a modulação de conteúdo desempenhou um papel crucial na formação da opinião pública. Durante o processo eleitoral, algoritmos de redes sociais foram criticados por favorecerem determinados conteúdos que se alinham com visões políticas específicas, enquanto suprimem ou descredibilizam informações que contradizem essas narrativas.  O viés político não apenas molda a informação que os cidadãos recebem, mas também pode impactar a saúde democrática das sociedades, ao limitar o debate público e criar divisões. Ressalta-se que as formas de discriminação podem ser múltiplas e interseccionais, ou seja, a discriminação algorítmica poderá ocorrer com base em dois ou mais motivos que interagem de maneira complexa e/ou inseparável, produzindo impactos negativos compostos e formas distintas e específicas de discriminação. Por exemplo, uma mulher jovem, negra e bissexual pode sofrer um impacto negativo desproporcional em decorrência de uma soma de discriminação e marginalização racista, por idade, bifóbica e sexista.

Causas do viés algorítmico

O viés algorítmico é causado por falhas no processo do desenvolvimento de software, manifestando-se em diversas etapas como no design, desenvolvimento, teste e distribuição. Embora frequentemente associado a sistemas que utilizam inteligência artificial, esse viés pode pode ocorrer em outros tipos de software, principalmente por erros na hora da documentação de requisitos ou na implementação. O viés algorítmico não é apenas um reflexo de negligência ou falta  de atenção dos criadores do software, na realidade, em muitos casos é manifestação de intenções preconceituosas e antiéticas.

Algoritmos faciais são uns dos principais tipos de software que sofrem do viés algorítmico. Estes algoritmos precisam de uma base de dados de faces para seu treinamento, quando essa base de dados não possui uma diversidade de rostos em relação às formas, cores e tipos diferentes, o algoritmo não irá detectar as faces que não possuem características semelhantes às faces dos dados de aprendizado, resultando em um caso de viés algorítmico .

Além disso, algoritmos utilizados para sugestão de anúncios também podem perpetuar comportamentos e crenças discriminatórias por meio do viés algorítmico, quando mal projetados ou mal treinados, podem gerar recomendações que não apenas refletem, mas também reforçam estereótipos sociais nocivos. Por exemplo, a prática comum de direcionar propagandas produtos de limpeza exclusivamente para mulheres, enquanto os homens são frequentemente associados a produtos eletrônicos ou esportivos, perpetua a ideia de que essas funções são inerentemente ligadas ao gênero. Essa segmentação não apenas limita as opções disponíveis para os consumidores, mas também contribui para a manutenção de uma cultura misógina, onde o papel da mulher é reduzido a atividades domésticas.

Algoritmos de busca e recomendação possam sugerir conteúdos discriminatórios ou pejorativos. Um exemplo disso é a prática de sugerir anúncios relacionados a consultas de ficha criminal para buscas que envolvem nomes de pessoas predominantemente negras. Esse tipo de viés não apenas perpetua estigmas raciais, mas também alimenta um ciclo vicioso de discriminação, onde certos grupos são continuamente marginalizados e criminalizados. Esses exemplos revelam como os softwares, longe de serem ferramentas neutras, podem se tornar instrumentos de perpetuação de desigualdades sociais e de comportamentos discriminatórios.

Casos reais de discriminações algorítmicas

Problemas de reconhecimento facial em câmeras digitais

Já ocorreram diversos casos de discriminação racial causados por algoritmos de reconhecimento facial em câmeras digitais e webcams. A câmera Nikon Coolpix S630 é um exemplo disso, a câmera tinha um sistema de detecção de fotos que avisava ao usuário quando as pessoas fotografadas haviam piscado. Quando pessoas com características asiáticas tiravam fotos com esta câmera, ela sempre emitia o alerta em que pessoas haviam piscado na foto. Há também o caso de webcams da HP que não conseguiam detectar o rosto de usuários negros em qualquer tipo de iluminação, um vídeo foi divulgado na internet onde uma mulher branca se aproximava da câmera e ela instantaneamente reagia e davam um zoom na face da mulher. Quando um homem negro se aproximava da mesma câmera, logo após a mulher, nada acontecia. Estes dois casos são um exemplo de discriminações causadas pelo viés algorítmico, o banco de dados de faces usado para o aprendizado destes algoritmos não possuía faces com características de pessoas com características asiáticas ou negras.

O reconhecimento facial costuma falhar mais frequentemente ao tentar identificar pessoas transgênero ou não-binárias, que muitas vezes apresentam diferenças na expressão de gênero que não correspondem às representações hegemônicas usadas nos bancos de dados. A partir de  2018, começaram a ser divulgadas diversas pesquisas que debatem as taxas de erros em algoritmos de reconhecimento facial de acordo com gênero. Em 2019, uma pesquisa da Universidade do Colorado revelou que as taxas de erro em algoritmos de reconhecimento facial aumentam em até 40% ao tentar identificar pessoas trans, o que resulta em uma série de problemas e constrangimentos, especialmente em aeroportos e áreas de segurança.

Sugestões de anúncios racistas

Em 2013, a Google foi acusada de emitir sugestões de comentários racistas por uma professora da universidade de Harvard. A professora Latanya Sweeney, após pesquisar seu próprio nome na ferramenta de busca, recebeu um anúncio de uma plataforma de checagem de histórico criminal com o seu nome nele. Após o ocorrido, Sweeney decidiu fazer uma pesquisa sobre a influência de aspectos raciais em plataformas de anúncio. Ela pesquisou mais de 2.000 nomes racialmente associados, que correspondiam a nomes que eram mais comumente dados a pessoas negras do que a pessoas brancas, e obteve o resultado que pesquisas de nomes associados a pessoas negras eram mais suscetíveis a serem bombardeados com anúncios de checagem de histórico criminal. Sweeney chamou atenção para o impacto que isso poderia causar aos afetados, se um empregador pesquisasse sobre o nome de um candidato de emprego negro e ele visse o resultado associado sugerindo que eles foram presos isso provavelmente prejudicaria o candidato e faria ele possivelmente perder a vaga de emprego.

Análise de currículos discriminatória

Kyle Behm teve que abandonar seus estudos na universidade de Vanderbilt em Nashville por conta de um problema de saúde mental conhecido como desordem de bipolaridade. Após seu tratamento, ele estava pronto para ingressar em uma universidade e ficou sabendo de um trabalho de meio expediente em um supermercado recomendado por seu amigo. O seu amigo que estava de saída deste emprego indicou seu currículo para a vaga disponível que viria a estar disponível. Apesar da indicação, Kyle não foi chamado para a entrevista e ficou intrigado por causa disto, após perguntar ao seu amigo, ele descobriu que ele tinha sido marcado como alerta vermelho no teste de personalidade que ele havia feito para o emprego. O teste fazia parte de um software de seleção de empregados desenvolvido pela empresa Kronos. Após uma pesquisa de seu pai, Kyle descobriu que este teste possuía elementos de um mesmo teste que era o mesmo feito em hospitais para detecção de problemas de desordem de bipolaridade e por isso ele não estava sendo aprovado. Após o ocorrido, Kyle realizou uma aplicação para mais cinco empregos na área que ele morava e foi rejeitado nos cinco, mais tarde ele descobriu que estes outros empregos utilizavam o mesmo software para o processo seletivo de candidatos que o supermercado que ele enviou seu currículo em sua primeira tentativa, por este motivo Kyle não estava conseguindo ser selecionado para nenhum dos 6 empregos que ele realizou sua aplicação.

Prisões ilegais com base em reconhecimento facial

Câmeras de reconhecimento facial utilizadas na Segurança Pública que acarretaram prisões ilegais e discriminação algorítmica

O documentário "Vigilance Capitalism" de Shoshana Zuboff levanta questões sensíveis sobre o impacto do uso de tecnologias de vigilância, especialmente o reconhecimento facial, na sociedade e nos Direitos Humanos. Um dos exemplos de impactos negativos e potencialmente graves é o caso de prisões ilegais resultantes de erros em sistemas de reconhecimento facial. No contexto real, casos nos EUA exemplificam esses problemas: em Detroit, um homem negro foi preso injustamente com base em um erro do sistema de reconhecimento facial, que o identificou erroneamente como suspeito em uma investigação. O sistema, alimentado por dados historicamente enviesados e com alta taxa de erro na identificação de pessoas negras, levou à prisão indevida e demonstra como a aplicação dessa tecnologia pode ser profundamente prejudicial, especialmente para as minorias.

De acordo com um estudo do National Institute of Standards and Technology (NIST) em 2019, algoritmos de reconhecimento facial apresentam uma taxa de falsos positivos cem vezes maior para pessoas negras. Essa tecnologia, amplamente adotada por forças de segurança, como nas polícias dos estados da Bahia e do Rio de Janeiro, já resultou em diversas prisões equivocadas, incluindo casos onde os erros provocaram a detenção de pessoas inocentes.

Na Bahia, a Secretaria da Segurança Pública (SSP-BA) utiliza reconhecimento facial desde 2018. No entanto, há registros de falhas significativas: durante o Carnaval de 2023, 77 pessoas foram presas com base em alertas gerados pelo sistema, e casos de erros não são divulgados publicamente, gerando questionamentos sobre transparência e equidade. Em um caso claro de violação aos direitos fundamentais do cidadão, um vigilante negro foi erroneamente detido e ficou preso por 26 dias, devido a uma falha no sistema que o associou a um crime cometido por outra pessoa. Este episódio não só expôs a vulnerabilidade dos sistemas de reconhecimento facial, mas também evidenciou os danos sociais e econômicos causados por essas prisões injustas, uma vez que ele perdeu uma oportunidade de emprego.

Apesar das falhas, a tecnologia continua sendo implementada no Brasil, como no plano de combate ao tráfico no Complexo da Maré, no Rio de Janeiro, que envolve reconhecimento facial e drones. Além disso, a Lei Geral do Esporte prevê o uso obrigatório de biometria facial em estádios com mais de 20 mil lugares até 2025. Esses sistemas violam direitos fundamentais ao submeter pessoas a uma vigilância intensiva e com falhas características, como o direito à privacidade, à não discriminação e ao devido processo legal. Ela destaca que essas prisões injustas refletem como o uso não regulamentado e pouco supervisionado de algoritmos aumenta a marginalização de grupos vulneráveis e impõe consequências desproporcionais.

Sistema de Anúncios no Google

Em 2020, a GLAAD, uma organização LGBT, identificou que o Google bloqueia anúncios relacionados a temas LGBT em vídeos no YouTube sob a alegação de que eram "conteúdos adultos". Isso impacta a visibilidade de criadores de conteúdo LGBT e limita o acesso à monetização, uma vez que esses conteúdos são considerados menos “apropriados” pelos algoritmos de publicidade.

Publicidade Digital e Bloqueio de Anúncios

Em 2019, uma investigação da ProPublica e do The Markup revelou que anúncios destinados ao público LGBT foram bloqueados ou exibidos de forma desigual em plataformas como o Google Ads e Facebook Ads, devido aos filtros algorítmicos que restringem conteúdos considerados "sensíveis" ou "não apropriados." Muitos anunciantes, especialmente aqueles com produtos e serviços voltados para a comunidade LGBT, relatam dificuldades em alcançar o público-alvo, sendo que esses anúncios podem ser bloqueados ou limitados de forma automática.

Outros exemplos de discriminação algorítmica

• Algoritmos de reconhecimento de voz que só reconheciam vozes masculinas.
• Algoritmos de previsão de crimes que apenas sugeriam crimes em vizinhanças que a população era predominantemente negra.
• Plataformas de sugestão emprego que só mostravam empregos que pagavam melhor para clientes homens.
• Algoritmos de concessão de empréstimos que tinham preferência por clientes homens.

Código fechado e o viés algorítmico

Imagem ilustrando a diferença entre um código aberto e um fechado

Softwares autorais e que possuem políticas de proteção ao seu código, ou seja, não fazem parte dos softwares livres e de código aberto são um grande problema para a detecção de viés algorítmico. Muitas vezes softwares que possuem código fechado tomam decisões importantes sobre a vida das pessoas como a decisão se ela é apta a um emprego, se ela será aceita em um plano de saúde, se ela receberá permissão para obter um cartão de crédito, se ela deve ser demitida do seu emprego ou se ela deve ou não permanecer mais tempo na prisão. Como o código destes softwares não está disponível para análise, justamente por ser um software proprietário, os técnicos e cientistas de universidades e centros de pesquisa que lutam contra o viés algorítmico não conseguem analisar as linhas de código destes programas de computador. Pelo motivo da falta de transparência, o viés algorítmico é desconhecido em uma série de programas que tomam decisões importantes e que de fato impactam na vida das pessoas. Apesar disto, cientistas utilizam métodos de detecção de viés algorítmico em softwares de código fechado por meio da análise do seu comportamento e dos resultados que eles produzem ao serem estimulados por determinadas entradas. Artifícios legais também são utilizados para forçar empresas que são suspeitas de produzirem softwares com viés algorítmico a abrirem seu código para um grupo de analisadores técnicos. Esta falta de transparência é discutida por Cathy O' Neil em seu livro "Weapons of math destruction" e o grande impacto que isso causa na sociedade.

Impactos causados pela discriminação algorítmica

[Senti que essa seção esta com a escrita muito acadêmica, recomendo que se reestruture para ficar com a linguagem enciclopédica - cami]

Os impactos individuais da discriminação algorítmica são variados. Por exemplo, a negativa de crédito a um indivíduo pode limitar suas oportunidades econômicas, restringindo sua capacidade de adquirir bens essenciais como moradia ou educação. De forma semelhante, a recusa em fornecer serviços, especialmente em setores críticos como saúde, pode comprometer a qualidade de vida e o bem-estar dos afetados. Ademais, a condenação penal injusta, que pode ocorrer devido a algoritmos enviesados, viola não apenas o direito à liberdade, mas também o princípio da presunção de inocência, ao contraditório e a ampla defesa, resultando em consequências duradouras para o indivíduo.As consequências da discriminação algorítmicas são amplas e não se limitam apenas a impactos individuais há reflexos sociais, especialmente relacionados à violação de direitos humanos fundamentais, como a igualdade, a dignidade e a não discriminação. Quando algoritmos utilizados para tomada de decisão, como os que negam crédito ou emprego a indivíduos, incorporam vieses, eles não apenas prejudicam as oportunidades de certas pessoas, mas também reforçam sistemas de opressão e exclusão.

Essa forma de discriminação perpetua desigualdades estruturais, afetando desproporcionalmente grupos minoritários e vulneráveis. Indivíduos que enfrentam discriminação algorítmica frequentemente se tornam alvo de estigmatização e exclusão em diversos contextos sociais, incluindo o mercado de trabalho, o que agrava ainda mais as disparidades existentes. Além disso, a erosão da confiança nas instituições, provocada por falhas em sistemas algorítmicos, pode levar à alienação de comunidades já marginalizadas, contribuindo para uma diminuição da coesão social.

Algorithmic Justice League (AJL)

A liga de justiça algorítmica (em inglês Algorithmic Justice League) ou AJL, é uma iniciativa criada por Joy Buolamnwini que tem como objetivo o combate ao viés algorítmico. Ela já conta com diversos membros ao redor do mundo incluindo cidadãos, artistas, pesquisadores e ativistas. A liga da justiça algorítmica segue uma tríade de medidas para combater o viés algorítmico:

• Identificar o viés algorítmico ao desenvolver ferramentas para o teste de viés em algoritmos de aprendizagem de máquina.
• Mitigar o viés algorítmico ao desenvolver métodos para inclusão em amplo espectro durante o design, desenvolvimento, teste e distribuição de softwares.
• Chamar atenção através de materiais publicitários sobre o problema do viés algorítmico, o impacto causado por ele nos indivíduos afetados e outras informações importantes sobre este tema.

Estratégias de combate à discriminação algorítmica

O combate à discriminação algorítmica requer uma combinação de ações regulatórias, sociais e tecnológicas. Uma das principais iniciativas globais tem sido a pressão da sociedade civil, com campanhas como “Meu Rosto Não,” no Brasil, e “Big Brother Watch,” no Reino Unido, que atuam diretamente contra o uso abusivo de tecnologias como o reconhecimento facial. Essas campanhas buscam conscientizar o público sobre os riscos de discriminação algorítmica e promovem a regulação mais estrita do uso de tecnologias que podem violar direitos fundamentais.

O movimento “Meu Rosto Não” é uma resposta ao uso desenfreado de sistemas de reconhecimento facial no Brasil, em especial em contextos de segurança pública e vigilância. A campanha denuncia como a tecnologia frequentemente erra em identificar pessoas negras, resultando em prisões ilegais e outros tipos de abuso. Seu objetivo é impedir que o reconhecimento facial seja utilizado sem a devida regulamentação e controle, especialmente diante da falta de transparência dos algoritmos utilizados e da ausência de uma fiscalização robusta que garanta o respeito aos direitos humanos.

Já no Reino Unido, a organização “Big Brother Watch” também se posiciona fortemente contra a vigilância excessiva, destacando a forma como o reconhecimento facial falha de maneira desproporcional em identificar corretamente minorias étnicas e outros grupos vulneráveis. Ambas as campanhas têm sido fundamentais em abrir o debate público e em pressionar por regulação mais rígida.

[inserir predefinição de título das referências - Dani]

[[Categoria:Computação

[[Categoria:Governo por algoritmo