Texto para Seminário de Governança
Texto para Seminário de Governança
Texto para Seminário de Governança
1
Doutorando em Direito Comercial e Mestre em Direito Civil pela Universidade de São Paulo. Professor e
Fundador do Data Privacy Brasil.
2
Mestranda e Bacharela em Direito pela Universidade de São Paulo. Pesquisadora no InternetLab.
I.Introdução e apontamentos metodológicos
3
“Bias in criminal risk scores is mathematically inevitable, researches say”. Disponível em
<https://www.propublica.org/article/bias-in-criminal-risk-scores-is-mathematically-inevitable-researchers-say>.
Facebook has been charged with housing discrimination by the US government”. Disponível em
<https://www.theverge.com/2019/3/28/18285178/facebook-hud-lawsuit-fair-housing-discrimination>. “Self-
driving cars may be more likely to hit you if you have dark skin”. Disponível em
<https://www.technologyreview.com/the-download/613064/self-driving-cars-are-coming-but-accidents-may-
not-be-evenly-distributed/>.
para mudança, podendo aprofundar assimetrias de poder já existentes; danos à privacidade e
exposição de grupos já marginalizados; fornecimento de informações pouco úteis que podem
se sobrepor a informações realmente úteis; criação do falso binário segredo/transparência; a
invocação de modelos liberais que pressupõem plena capacidade de todos os indivíduos
entenderem e processarem as informações fornecidas; a crença na causalidade, ainda pouco
comprovada empiricamente, de que a transparência, sozinha, aumenta a confiança nas
instituições; a impossibilidade de se disponibilizar toda a informação, sem considerá-las em
seus contextos e histórias específicas; a preferência por ver uma informação ao invés de
entendê-la; a desconsideração de que, por vezes, existem limitações técnicas à transparência
(Ananny e Crawford, 2018). A accountability desses sistemas parece demandar, assim, um tipo
de transparência qualificada. E, nesse cenário, o princípio da precaução, há muito invocado no
campo da proteção ambiental, parece um framework útil para se pensar essa questão.
Nesse sentido, o presente artigo pretende investigar se leis gerais de proteção de dados
são possíveis vetores de entrada para a aplicação do princípio da precaução como parte da
empreitada regulatória de Inteligência Artificial. Para tanto, analisa-se se o princípio da
accountability, relatórios de impacto à proteção de dados pessoais e o direito à revisão de
decisões automatizadas carregam consigo expressões normativas do princípio precaução. Em
particular, qual é o grau de abertura nos processos de tomadas de decisão quanto ao emprego
dessa tecnologia, bem como na ação ou inação em lançar mão de IA frente aos riscos que lhes
são subjacentes. Analisa-se, ainda, a regulação efervescente de tecnologias de reconhecimento
facial como um caso de fronteira que atrai diversos graus de aplicação do princípio da
precaução.
O artigo está dividido em duas seções. A primeira delas mapeia o debate normativo em
torno do princípio da precaução, buscando compreender sua racionalidade e verificar a
procedência, ou não, das críticas feitas a ele. E a segunda seção pretende averiguar de que
forma o princípio da accountability, relatórios de impacto à proteção de dados pessoais, o
direito à revisão de decisões automatizadas poderiam servir como ferramentas à aplicação
concreta desse princípio e, por fim, de que forma e a regulação de tecnologias de
reconhecimento facial também internaliza conotações normativas do referido princípio.
II. Aplicação do Princípio da Precaução em Discussões Regulatórias: definindo os termos
do debate
4
“Art. 15: In order to protect the environment, the precautionary approach shall be widely applied by States
according to their capabilities. Where there are threats of serious or irreversible damage, lack of full scientific
certainty shall not be used as a reason for postponing cost-effective measures to prevent environmental
degradation.”
certeza científica quanto a ameaças de dano “sério” ou “irreversível” não poderia, assim, ser
usada como desculpa para não se empregar medidas para evitar danos ambientais.
Em 1998, em uma conferência de cientistas, filósofos, advogados e ativistas ambientais
em Wisconsin nos EUA, a Declaração de Wingspread (Wingspread Statement, 1998)
determinou que medidas precaucionárias deverão ser tomadas em casos de ameaça de dano à
saúde humana ou ao meio ambiente, ainda que relações causais entre a atividade e os possíveis
danos não sejam estabelecidas cientificamente. Nesses casos, haveria ainda uma inversão do
ônus da prova, cabendo então ao proponente da atividade demonstrar a segurança do seu
exercício.5
Finalmente, em 2000, um Comunicado da Comissão Europeia (CE) buscou esclarecer
pontos a respeito da aplicação do princípio que vinham sendo disputados em tribunais ao redor
da União Europeia. Segundo o documento, o recurso à aplicação do princípio pressupõe efeitos
potencialmente perigosos ocasionados por um fenômeno, produto ou processo, e cuja avaliação
científica não fornece grau suficiente de certeza. Nesse caso, diversas seriam as medidas
possíveis a serem adotadas, de contratos e acordos legalmente definidos a projetos de pesquisa
e recomendações. Em alguns casos, inclusive, a medida correta seria não fazer nada.6
Nenhuma das formulações conceitua o que seja o princípio da precaução. Elas apenas
indicam situações em que a abordagem e lógica da precaução deve ser adotada. Essas situações
podem ser mais ou menos restritivas, o que tem levado alguns autores a diferenciar graus de
aplicação desse princípio de acordo com essas formulações históricas. Nesse sentido, Garnett
e Parsons (2017), por exemplo, ao analisarem a jurisprudência europeia sobre o tema,
observaram “ambiguidades inerentes” à determinação do nível de incerteza e o tipo de dano
que justifiquem a invocação do princípio. Para esses autores, a Declaração Rio 92 representaria
uma aplicação fraca do princípio da precaução, enquanto o Comunicado da CE e a Declaração
de Wingspread teriam, respectivamente, uma aplicação moderada e forte.
5
“When an activity raises threats of harm to human health or the environment, precautionary measures should be
taken even if some cause and effect relationships are not established scientifically. In this context the proponent
of the activity, rather than the public, should bear the burden of proof.”
6
“Recourse to the precautionary principle presupposes that potentially dangerous effects deriving from a
phenomenon, product or process have been identified, and that scientific evaluation does not allow the risk to be
determined with sufficient certainty. In some cases, the right answer may be not to act or at least not to introduce
a binding legal measure. A wide range of initiatives is available in the case of action, going from a legally binding
measure to a research project or a recommendation.”
Forte: quando houver
Moderada: ameaça de dano, medidas
Grau de força da aplicação do Fraca: incerteza não incerteza na de precaução devem ser
Princício da precaução justifica inação avaliação do risco tomadas; diante da
justifica ação incerteza, inverte-se o ônus
da prova
A Declaração de
A Comunicação da
Wingspread determina
Comissão
que a responsabilidade de
Europeia sugere o
A Declaração do Rio de provar que uma atividade é
uso de regulação
Gravidade dos danos potenciais 92 sugere que medidas segura recai sobre o
proporcional ao
que demandariam ações de podem ser tomadas para proponente dessa
nível de risco dos
precaução evitar "danos sérios e atividade, mesmo que a
"efeitos perigosos
irreversíveis" relação causa e efeito não
potenciais", com
possa ser cientificamente
avaliação científica
determinada para evitar "a
objetiva preliminar
ameaça de dano"
Pesquisas serão
necessárias para
A incerteza demanda a
É permitida regulação reduzir incertezas;
proibição da atividade
na ausência de certeza até lá, a ações de
Grau de incerteza ou qualidade potencialmente arriscada
científica; medidas de precaução incluem
das evidências que demandariam até que o seu proponente
precaução podem ser o estabelecimento
ações de precaução demonstre que ela não
invocadas diante da de padrões
oferece risco ou oferece
incerteza regulatórios com
risco aceitável
grandes margens de
segurança
Pressuposto de
gerenciamento de
risco implícito;
medidas sujeitas a
Pressuposto de Pressuposto de se evitar o
Natureza das ações de precaução revisão quando
gerenciamento de risco risco
novas informações
ou evidências
científicas
surgirem
A melhor maneira de
tratar as questões Corporações, entidades
ambientais é assegurar governamentais,
a participação de todos Julgar quais níveis organizações,
os cidadãos de risco são comunidades, cientistas e
interessados; cada "aceitáveis" é tarefa outros indivíduos devem
indivíduo terá acesso eminentemente adotar uma abordagem de
Indicação dos atores envolvidos
adequado às política; os precaução para todos os
na avaliação dos riscos ou na
informações relativas ao processos de empreendimentos
definição das medidas a serem
meio ambiente, inclusive tomada de decisão humanos; o processo de
adotadas
informações acerca de devem ser aplicação do princípio da
materiais e atividades transparentes e precaução deve ser
perigosas em suas envolver o máximo aberto, informado e
comunidades, bem de atores possíveis democrático e deve
como a oportunidade de incluir as partes
participar dos processos potencialmente afetadas
decisórios
Tabela 1: Quadro comparativo das definições e aplicações do Princípio da Precaução
Fonte: Elaborada pelos autores com base em Garnett & Parsons D. J. (2017)
Entretanto, alguns pontos parecem comuns às formulações apresentadas.
Primeiramente, não se trata de um recurso a ser invocado de maneira indiscriminada, havendo
exigências de potencial dano.
Outro ponto importante é que, ao não definir expressões como “dano”, “irreversível”,
“risco”, “sério”, as formulações parecem deixar a tarefa de fazê-lo às experiências
participativas e deliberativas que procuram promover (Tabela 1). Essas expressões parecem
conter uma presunção normativa em favor de certos valores ou qualidades que, em um regime
democrático, caberia à toda a sociedade definir. Ademais, os valores a serem protegidos com a
aplicação do princípio, como saúde, meio-ambiente e privacidade, quando confrontados com
outros valores, demandam algum tipo de trade-off (Persson, 2016). Nesse sentido, o princípio
da precaução reconheceria as assimetrias de poder e de informação dos processos de avaliação
regulatória e ajudaria a remodelar os diferentes conhecimentos dos diversos atores envolvidos
e afetados por esses processos (Stirling, 2016, p. 649). Trata-se, assim, de assumir
compromissos com a deliberação e a accountability, assegurando justificações explícitas e
cuidadosas sobre as escolhas regulatórias feitas diante de um “conhecimento incompleto” -
algo que, inclusive, fomentaria e criaria obrigações para com a pesquisa e o conhecimento
científico, com vistas a obtenção de informações sobre os riscos desconhecidos (Hartmann,
2012).
Compreender o princípio da precaução como um tipo de racionalidade a ser empregada
durante a escolha das medidas regulatórias endereça as principais críticas feitas à sua aplicação.
A primeira delas aponta a indeterminação de alguns dos conceitos utilizados nas formulações
(ill-defined) (Majone, 2012; Sunstein, 2005). Essa crítica pressupõe tratar-se de uma regra
procedimental e autossuficiente, o que o distanciaria da própria ideia de princípio. O
Comunicado da CE endereça esse questionamento ao indicar o princípio da precaução como
um framework para se pensar medidas regulatórias, dentre as quais contratos, sanções, acordos
legalmente definidos, financiamento a projetos de pesquisa e recomendações. É justamente
essa tarefa de determinação que abre espaços para a discussão de valores a serem protegidos
ou preteridos, convidando diferentes stakeholders a discutir padrões de segurança. Schomberg
(2012) aponta essa abertura de padrões de atuação como uma característica positiva de regimes
regulatórios em sociedades democráticas.
A segunda crítica caracteriza o princípio como “irracional” e “não científico” (Sunstein,
2005; Resnik, 2003) por seu suposto caráter normativo. Esses autores parecem atribuir uma
confiança demasiada à crença do conhecimento científico neutro, presumindo que
procedimentos regulatórios convencionais cientificamente orientados (e menos aberto à
participação de diversos stakeholders, vale dizer) seriam capaz de transpor essa normatividade
e indeterminação. Apenas os “experts” teriam competência para, “ao menos tentar”, estimar e
valorar os custos em uma análise de custo-benefício, enquanto “cidadãos comuns” imprimiriam
seus medos irracionais às decisões regulatórias (Sunstein, 2005, p. 86). Além disso, essa crítica
ignora que os métodos tradicionais de avaliação e gestão de riscos também demandam
julgamentos avaliativos. Nesse sentido, o princípio da precaução seria tão “intrinsicamente
imune” a manipulações como qualquer outro método (Stirling, 2016).
Finalmente, a terceira crítica à aplicação do princípio seria sua rejeição a novas
tecnologias por seu caráter “paralisante”, priorizando medidas que ponham fim ou dificultem
o desenvolvimento tecnológico com determinações de “não-fazer” (Sunstein, 2005). Como já
apontamos, a decisão por não tomar qualquer medida é apenas uma das possibilidades dentro
do framework da precaução. O princípio tem por foco as razões para se tomar determinadas
decisões regulatórias, e não as decisões em si (Stirling, 2016), bem como verificar qual é o
nível de engajamento e participação pública nesses processos de tomada de decisão.
III. Leis de proteção de dados pessoais: o portal de entrada para a aplicação do Princípio
da Precaução em Decisões Automatizadas e regulação de IA?
Uma vez realizada a radiografia do princípio da precaução, pretende-se verificar qual
é o seu nível de aproximação frente aos objetivos regulatórios e o formato atual das leis de
proteção de dados pessoais/LDPD. O princípio da accountability e os relatórios de impacto à
proteção de dados pessoais, elementos centrais das LPDPs, revelam-se como possíveis feixes
de entrada para a aplicação do princípio da precaução à IA, ainda mais quando se tem em vista
que boa parte do emprego dessa tecnologia envolverá o processamento de dados pessoais.
7
Parte dos achados dessa subsecção derivam de outro trabalho: BIONI, Bruno Ricardo. Abrindo a caixa de
ferramentas da LGPD para dar vida ao conceito de privacy by design (no prelo). In Direito & Internet IV: Lei
Geral de Proteção de Dados Pessoais (Organizadores Newton de Lucca et al.,) Quartier Latin, 2019.
cada vez mais ao redor de processos de gerenciamento dos riscos das atividades de tratamento
de dados.8
Como bem alerta Rafael Zanatta (2018), não se trata de “um processo de colisão jurídica
ou de substituição normativa”, mas de uma nova tipologia a respeito da emergência de
mecanismos mais centrados na identificação e mitigação das incertezas e das probabilidades
dos malefícios decorrentes da manipulação das informações pessoais dos indivíduos. Nadezhda
Purtova, professora de Tilburg, resume bem: há uma guinada de “informational self-
determination” na direção de “information-induced-harms” (Purtova, 2018). Em poucas
palavras, o saldo normativo das novas leis de proteção de dados pessoais é resultado cada vez
mais de uma arquitetura precaucionária de danos.
O fio condutor de todo esse processo é o acirramento da assimetria de informação9, o
qual, apesar de ser um elemento histórico da própria formação de leis de proteção de dados10,
atingiu um patamar ainda mais elevado diante dos avanços da tecnologia e pela consolidação
de uma economia movida e orientada por dados. A nova onda de tecnologias de informação e
comunicação (TICs) tornou ainda mais exponencial os possíveis efeitos adversos de uma
atividade de tratamento de dados pessoais. Juntas, Internet das Coisas, Big Data e Inteligência
Artificial permitem a coleta massiva de informações pessoais e, principalmente, inferências
mais intrusivas a respeito dos cidadãos (Spina, 2014). Com isso, torna-se mais complexo o
processo de cognição, avaliação e gerenciamento dos riscos de uma economia de dados. Os
agentes de tratamento de dados – controladores e operadores – passaram a deter uma
superioridade informacional ainda maior frente aos demais atores – cidadãos e órgãos
fiscalizadores – desse ecossistema.
Esse é o pano de fundo que está por trás de uma estratégia que desloca mais
“competências decisórias” (Quelle, 2017, p. 96) para quem está com a “mão na massa” dos
8
Veja o debates e os desafios teóricas dessa “risquificação” do campo de proteção de dados pessoais por:
QUELLE, Claudia. The ‘Risk Revolution’ in EU Data Protection Law: We Can’t Have Our Cake and Eat It, Too.
Rochester, NY: Social Science Research Network, 2017.
9
Com maior ou menor intensidade o debate regulatório de proteção de dados pessoais sempre envolveu o
gerenciamento de risco, mas o que nos parece mais sintomático é a complexificação no processo de reunião de
informação para tomadas de ações ou inações para a modificação de comportamentos, o que impacta o próprio
conceito e empreitada de regulatória desse campo. Veja, nesse sentido: GELLERT, Raphaël, We Have Always
Managed Risks in Data Protection Law. European Data Protection Law Review, v. 2, n. 4, pp. 481–492, 2016.
10
Veja, por exemplo, a própria decisão da Corte Constitucional Alemã que, ao cunhar o termo autodeterminação
informacional, traz ínsita a ideia de reduzir a assimetria de informação perante o cidadão para que o cidadão tenha
controle sobre seus dados. SCHWABE, Jürgen; MARTINS, Leonardo; WOISCHNIK, Jan. Cinqüenta anos de
jurisprudência do Tribunal Constitucional Federal Alemão. Montevideo: Fundación Konrad-Adenauer, 2005. p.
233.
dados. A introjeção ou o reforço de ferramentas como relatórios de impacto à proteção de
11
dados indicam o tamanho da fé que está sendo depositada em tais agentes da cadeia de
tratamento de dados. A partir dessa e outras ferramentas (Bennett e Raab, 2006), espera-se que
a empreitada regulatória seja cada vez mais colaborativa com quem está no “chão da fábrica”
e, sobretudo, que contas sejam prestadas - princípio da accountability - acerca das ações
tomadas para avaliar e gerir os riscos em jogo.
Nesse cenário, o princípio da accountability apresenta-se como um vetor determinante
para a abertura dos processos de tomadas de decisão acerca do que será considerado como um
risco tolerável nas atividades de tratamento de dados. Isto porque a participação e o
engajamento público em tais circuitos decisórios serão diretamente proporcionais ao quão
elástico será o conteúdo de tal obrigação de prestação de contas por parte dos agentes
econômicos. Com isso, permite-se, ao mesmo tempo, que a discussão seja porosa à valores
eventualmente preteridos, uma vez experimentada a participação de atores com um outro olhar
e motivados por interesses até mesmo antagônicos por parte de quem tem o dever de reportar.
Esse é o ponto de chegada proposto pelo jurista italiano Alessandro Mantelero, ao
defender um arranjo institucional multissetorial em tais processos de tomadas de decisão
(Mantelero, 2016). Tal olhar plural seria o gatilho inclusive para considerações de ordem ética,
social e de direitos humanos, muitas vezes negligenciados por análises tecnocráticas, com o
objetivo de conter riscos sistêmicos e de ordem coletiva (Mantelero, 2018).
Na medida em que boa parte dos processos de decisões automatizadas com o emprego
de IA envolverá o processamento de dados pessoais, leis gerais de proteção de dados, talhadas
com base em uma mentalidade de regulação de risco e no princípio da accountability, são
vetores de democratização do próprio processo de regulação de tal tecnologia. Tais leis
apresentam-se como um feixe de entrada para a aplicação do princípio da precaução, em sua
conotação de deliberação pública, acerca da adoção ou não de IA em vista da definição do tipo
de riscos que lhes são subjacentes.
11
Com exceção de privacy by design, todo os outros mecanismos já estavam positivados leis de proteção de dados
ainda que com um grau mais normativo apagado. Por isso, fala-se em reforço e não apenas introjeção.
poder de tomada decisão na cadeia de tratamento de dados – registraria seus processos de
tratamento de dados e as respectivas medidas adotadas para mitigar riscos gerados aos direitos
dos titulares dos dados.
No cenário europeu, o controlador é obrigado a executar um RIPDP sempre que houver
um alto risco em jogo. Há uma lista exemplificativa das hipóteses em que o tratamento de
dados seria de alto risco, destacando-se a situação de perfilhamento12 como ponto de apoio para
tomada de decisões. Através dessa definição, o emprego de IA para automatização de processos
de concessão à crédito, precificação de planos e seguro de saúde, seleção e ou recrutamento de
candidatos, elegibilidade à programas de assistências social, dentre uma outra série de situações
do nosso cotidiano, deveriam ser antecedidos pela elaboração de um RIPDP. Além disso,
quando o controlador não encontrar meios para mitigar os prováveis malefícios da sua
respectiva atividade, deve, nesse caso, aguardar "luz verde" do regulador para seguir em frente.
No cenário brasileiro, a lei geral de proteção de dados pessoais não procedimentalizou
minimamente o RIPDP. Muito embora haja algumas menções a tal instrumento, não há um
capítulo próprio para tratar da matéria. Dessa forma, o RIPDP estaria condicionada à regulação
posterior por parte de órgãos reguladores que precisariam quando seria obrigatório, bem como
quais elementos e o tipo de análise que se espera encontrar em tal documentação.
No cenário americano, há, igualmente, um projeto de lei,13 de autoria dos Senadores
Cory Booker e Ron Wyden, que obriga a elaboração de relatórios de impacto à proteção de
dados, bem como de um relatório de impacto mais genérico, nas hipóteses em que não há o
tratamento de dados pessoais, toda vez que houver o emprego de IA para automatização de
processos de tomadas decisão. Intitulado como Algorithmic Accountability, diferentemente da
racionalidade regulatória europeia, não há a previsão da necessidade de iniciar uma conversa
com o regulador quando se deparar com uma situação de alto risco e na qual não se encontrou
medidas para controlá-lo.
Do norte ao sul global e dos dois lados do atlântico, nota-se a emergência de uma
racionalidade regulatória bastante próxima ao conteúdo normativo do princípio da precaução.
Cabe ao proponente da atividade demonstrar a segurança da sua atividade, especialmente as
12
De acordo com a definição adotada no RGPD: “‘profiling’ means any form of automated processing of personal
data consisting of the use of personal data to evaluate certain personal aspects relating to a natural person, in
particular to analyse or predict aspects concerning that natural person's performance at work, economic situation,
health, personal preferences, interests, reliability, behaviour, location or movements;”
13
Disponível em:
<https://www.wyden.senate.gov/imo/media/doc/Algorithmic%20Accountability%20Act%20of%202019%20Bil
l%20Text.pdf>
medidas adotadas para gerenciar os seus respectivos riscos. Diferem, no entanto, com relação
ao grau de força do princípio da precaução:
Forte: ao se deparar com uma situação de alto risco que não pode ser mitigado por
meio de medidas adequadas em acordo com a tecnologia disponível e os custos de
RGPD (EU) implementação,o controlador não deve seguir em frente com o tratamento de dados
e, ainda, deve consultar antes a autoridade de proteção de dados (prior notification).
Moderado: apesar de obrigar a elaboração de RIPDP em situações de alto risco, é
silente quanto a eventual paralisação de uma atividade quando houver ameaça de
Accountability dano e medidas de prevenção. Dessa forma, a incerteza quanto aos malefícios de
Algorithm (USA) uma atividade pode justificar ação, sendo uma discricionariedade do próprio
proponente da atividade
Fraca: ao não procedimentalizar minimamente em que situações os RIPDP são
obrigatórios, muito menos quais devem ser os elementos a compor tal
documentação, a incerteza quanto aos malefícios de uma atividade não justifica
LGPD (BR)
inação. No entanto, regulação posterior, por parte dos órgãos reguladores (e.g.,
ANPD), podem alterar o status de força de aplicação do princípio da precaução em
questão.
Tabela 2: Quadro comparativo da aplicação do princípio da precaução quanto ao desdobramento e
exigências de relatórios de impacto à proteção de dados pessoais
Fonte: elaboração pelo(a)s autore(a)s
14
LGPD, art. 6º, “VI - transparência: garantia, aos titulares, de informações claras, precisas e facilmente acessíveis
sobre a realização do tratamento e os respectivos agentes de tratamento, observados os segredos comercial e
industrial;”. RGPD, art. 5. “Personal data shall be: 1. processed lawfully, fairly and in a transparent manner in
relation to the data subject (‘lawfulness, fairness and transparency’)”.
(Selbst e Powles, 2017). Já a LGPD, em seu art. 20, garante o direito de revisão de decisões
tomadas unicamente por tratamento automatizado. A lógica do direito à explicação e do direito
à revisão de decisões automatizadas que impacta o titular dos dados, contudo, já havia sido
inaugurada, no Brasil, no artigo 5º da Lei de Cadastro Positivo (Lei 12.414/2011).15 Ao não
dispor de uma proibição geral à perfilização, o dispositivo parece objetivar a garantia do direito
à não discriminação16 e fornecer instrumento para a identificação de potenciais violações de
direitos (Zanatta, 2019).17
A explicação surge, assim, como uma ferramenta à accountability de IA ao expor a
lógica da decisão, devendo permitir ao observador determinar a extensão em que um input
particular foi determinante ou influenciou um resultado (Doshi-Velez e Kortz, 2017).
Entretanto, os segredos comercial e industrial constituem objeções à transparência.
A abordagem da precaução parece ser útil na definição dos contornos desse debate. De
um lado, ela colabora na construção de espaços de deliberação para se discutir o que seria
“informação qualificada” ou como mitigar os problemas em decisões futuras. De outro, ela
possibilita endereçar questionamentos a respeito dos segredos comercial e industrial. Ao exigir
informações sobre a racionalidade de uma decisão específica, o direito à explicação não se
confunde com a transparência pura e simples. Variações nos dados de raça, por exemplo, já
poderiam fornecer o impacto e a maneira como esse tipo de dado impacta uma decisão, sem,
contudo, demandar a revelação de todo o sistema automatizado envolvido naquela decisão
(Doshi-Velez e Kortz, 2017). Ademais, espaços deliberativos com a participação de diversos
atores podem ajudar a mitigar os custos envolvidos em sistemas de explicação - que, de outra
forma, poderia afetar desproporcionalmente empresas menores - bem como os desafios
tecnológicos de se pensar esse tipo de sistema.
15
Art. 5o São direitos do cadastrado: IV - conhecer os principais elementos e critérios considerados para a análise
de risco, resguardado o segredo empresarial; V - ser informado previamente sobre o armazenamento, a identidade
do gestor do banco de dados, o objetivo do tratamento dos dados pessoais e os destinatários dos dados em caso de
compartilhamento; VI - solicitar ao consulente a revisão de decisão realizada exclusivamente por meios
automatizados.
16
Art. 8o São obrigações das fontes: VI - fornecer informações sobre o cadastrado, em bases não
discriminatórias, a todos os gestores de bancos de dados que as solicitarem, no mesmo formato e contendo as
mesmas informações fornecidas a outros bancos de dados.
17
Lógica semelhante à do Código de Defesa do Consumidor (Lei No. 8.078/90), que prevê a transparência e a
boa-fé como princípios norteadores (artigos 4º, 6º e 43).
III. D. Tecnologias de reconhecimento: um caso de fronteira à aplicação do princípio da
precaução
Reconhecimento facial parece ser o estopim de uma demanda regulatória represada em
torno de inteligência artificial18 de uma maneira geral (AI Now, 2016).19 Evidências sobre os
altos índices de falso positivos20 e, principalmente, revelações em torno do reforço de práticas
discriminatórias (Garvie, 2016) a partir do seu emprego para fins de policiamento preditivo,
fizeram com que vários atores do campo de políticas públicas se movimentassem recentemente.
No setor privado, ao clamar por uma regulação estatal, o presidente da Microsoft, Brand
Smith, mostrou ceticismo caso se apostasse em uma autorregulação do setor que forçaria as
empresas a escolherem entre responsabilidade social e sucesso no mercado.21 Por parte do
terceiro setor, a American Civil Liberties Union (ACLU) ganhou adesão dos próprios
funcionários da Amazon ao peticionar que a empresa suspendesse a venda de tecnologias de
reconhecimento facial para autoridades de repressão penal.
As incertezas quanto aos benefícios e os riscos pelo emprego de tecnologias de
reconhecimento facial formaram uma arena regulatória efervescente, a qual está formatada em
três eixos. O que lhes permite comparar é justamente carga de atribuição de obrigações
precaucionárias diante das incertezas quantos aos benefícios e riscos em jogo decorrentes do
emprego de tecnologias de reconhecimento facial:
18
É a partir do emprego de algoritmos supervisionados ou de autoaprendizados que se torna possível treinar uma máquina (machine-learning)
a reconhecer padrões em imagens e, com isso, identificar não só os donos de seus rostos, mas, até mesmo, o seu respectivo estado emocional.
Essa última técnica ficou conhecida como affect recognition.
19
Veja, a título de ilustração, as primeiras discussões do AI Now 2017: https://ainowinstitute.org/AI_Now_2016_Report.pdf
20
Em maio de 2018, a BBC divulgou estudo do grupo Big Brother Watch, que, baseado em pedidos de informação encaminhados a todas
as forças de segurança do Reino Unido, identificou números desproporcionalmente elevados de falsos positivos em Londres e no País de
Gales. Matéria disponível em: https://www.bbc.com/news/technology-44089161
21
O posicionamento completo pode ser acessado em: https://blogs.microsoft.com/on-the-issues/2018/12/06/facial-recognition-its-time-for-
action/
tecnologias de reconhecimento facial deveria ser antecedido de ações por parte
do seu próprio proponente que mitigassem seus eventuais malefícios. A
produção de possíveis evidências científicas (AI Now, 2018) acerca da
segurança de tais tecnologias (Calo, 2017), sobretudo de ordem dos próprios
agentes econômicos poderia desencadear um sistema de corregulação que
evitaria a ossificação de uma regulação baseada em comando e controle
somente por parte do Estado (WRIGHT, 2019).
Como será detalhado na tabela a seguir, diante da experiência estrangeira e do que foi mapeado
em termos de modelos regulatórios de tecnologias de reconhecimento facial, a lei geral
brasileira de proteção de dados/LGPD apresenta um modelo fraco e janelas muito incipientes
para a estruturação de um modelo de governança:
Legenda:
Baixo: o fato de haver incerteza quanto ao risco gerado pela atividade de tratamento de dados não pode justificar inércia por parte
do controlador;
Moderado: incerteza na avaliação do risco justifica ação, mas há algum grau de discricionariedade;
Forte: quando houver ameaça de dano, medidas de precaução devem obrigatoriamente ser tomadas; diante da incerteza, inverte-
se o ônus da prova, que passa a ser do controlador para o emprego da tecnologia em questão e com arranjos de deliberação pública.
Estratégias de Regulação
22
A lei pode ser consultada na íntegra, em inglês, no seguinte link:
http://www.ilga.gov/legislation/ilcs/ilcs3.asp?ActID=3004&ChapterID=57
A Lei, aprovada em 2018, aplica-se a utilização de dados
biométricos para fins comerciais, excluindo expressamente seu
uso com finalidade de segurança. Veda a inclusão de dados
biométricos em bases de dados para fins comerciais caso não
haja uma de três opções: (i) um aviso, que é definido como Baixo grau de força do princípio da
‘’uma notificação dada por meio de um procedimento precaução quanto à adoção de
desenhado para estar prontamente disponível para indivíduos produção de evidências para
afetados’’; (ii) consentimento expresso (que deve ser renovado controlar os eventuais malefícios.
a cada novo uso comercial) ou (iii) provisão de um mecanismo Ênfase na procedimentalização de
para prevenir o uso posterior de identificadores biométricos deveres de informação, publicização
para fins comerciais. e de bases legais para o tratamento de
2. HB 1493, A não ser que tenha sido obtido o consentimento expresso, a lei dados pessoais (e.g., consentimento)
Washington , EUA
23
veda a venda, arrendamento ou outro uso comercial, a não ser e sem que haja um controle social em
que o objetivo seja o cumprimento de obrigações legais, o torno da decisão do emprego da
perfazimento de transações comerciais ou financeiras tecnologia e, por fim, quanto ao
autorizadas pelo titular ou a transferência a um terceiro período de armazenamento.
contratualmente obrigado a não repassar novamente os dados ou O processo de tomada de decisão
dar a eles finalidade inconsistente com a Lei. quanto ao emprego da tecnologia
Aquele que detém dados biométricos utilizados para fins concentra-se nas mãos do próprio
comerciais deve manter cuidados razoáveis contra acessos não proponente.
autorizados e armazenar os referidos dados por não mais do que
o razoavelmente necessário para cumprir obrigações legais,
proteger os dados de possíveis fraudes e outros ilícitos ou
preencher o objetivo para o qual os dados foram coletados.
4. Ordinance O projeto, de autoria do conselheiro Aaron Peskin, condiciona o Alto grau de força do princípio da
amending the uso de tecnologia de vigilância à aprovação, pelo Conselho de precaução: a proposta em tramitação
Administrative Supervisores da cidade, de uma Política de Tecnologia para na cidade de São Francisco parte do
23
A lei pode ser consultada na íntegra, em inglês, no seguinte link: http://lawfilesext.leg.wa.gov/biennium/2017-
18/Pdf/Bills/House%20Passed%20Legislature/1493-S.PL.pdf
24
A lei pode ser consultada na íntegra, em inglês, no seguinte link:
https://statutes.capitol.texas.gov/Docs/BC/htm/BC.503.htm
Code - Acquisition Vigilância. Além da política, a proposta também determina que pressuposto de que os riscos
of Surveillance o solicitante de aprovação para emprego destas tecnologias apresentados por tecnologias de
Technology, San publique, no site do órgão e com ao menos 30 dias de vigilância, que incluem
Francisco, EUA 25
antecedência em relação à reunião em que o pedido será reconhecimento facial, superam seus
avaliado, um Relatório de Impacto à Vigilância. eventuais benefícios. Assim, em
O critério para aprovação de um pedido é a avaliação de que os regra, veda sua aplicação, relegando
impactos positivos da implantação da tecnologia de vigilância ao proponente do emprego da
superam os efeitos negativos. Em caso de aprovação, os órgãos tecnologia demonstrar que, no caso
ficam obrigados a submeter relatórios anuais de vigilância. concreto, sua proposta não se encaixa
nesta regra.
Antes de administração pública
empregar tal tecnologia, é necessário
a execução de RIV que deve ser
revisar pelo procurador do município
e, em seguida, ser enviado ao
Conselho Supervisor para sua
aprovação.
Tal relatório deve identificar os riscos
para direitos liberdades fundamentais
do cidadãos e os benefícios para a
sociedade
O projeto de lei, introduzido pelos Senadores Brian Schatz e Baixo grau de força do princípio da
7. Commercial Roy Blunt, pretende regular os usos comerciais de tecnologias precaução quanto à adoção de
Facial Recognition de reconhecimento facial. produção de evidências para
Privacy Act of O projeto condiciona o uso de tecnologia de reconhecimento controlar os eventuais malefícios.
2019, EUA 28
facial a: Ênfase na procedimentalização de
1. consentimento expresso do titular; deveres de informação, publicização
25
O projeto pode ser consultado na íntegra, em inglês, no seguinte link: https://cdn.vox-
cdn.com/uploads/chorus_asset/file/13723917/ORD__Acquisition_of_Surveillance_Technology.pdf
26
O projeto pode ser consultado na íntegra, em inglês, no seguinte link: https://malegislature.gov/Bills/191/SD671
27
O projeto pode ser consultado na íntegra, em inglês, no seguinte link: https://malegislature.gov/Bills/191/H287
28
O projeto pode ser consultado na íntegra, em inglês, no seguinte link: https://pt.scribd.com/document/401931553/The-
Commercial-Facial-Recognition-Privacy-Act
2. quando possível, a apresentação de um aviso sobre o uso da e de bases legais para o tratamento de
tecnologia e onde encontrar mais informações e informações dados pessoais (e.g., consentimento).
gerais e acessíveis sobre as características da tecnologia.
O projeto também veda o uso dessa tecnologia com fins
discriminatórios e com fins distintos àqueles apresentados ao
titular. Por fim, proíbe o compartilhamento destes dados com
terceiros, a não ser que haja consentimento específico para isso.
Tabela 3: Quadro comparativo do aplicação do princípio da precaução nas estratégias regulatórias para
tecnologias de reconhecimento facial
Fonte: Bioni & Rielli (2019)
V. REFERÊNCIAS BIBLIOGRÁFICAS
BENNETT, Colin J.; RAAB, Charles D., The governance of privacy: policy instruments in
global perspective, 2nd and updated ed. Cambridge, Mass: MIT Press, 2006.
BIONI, Bruno Ricardo. Agenda da privacidade de proteção de dados em 2019. Portal Jota,
março de 2019. Disponível em: < https://www.jota.info/opiniao-e-analise/colunas/agenda-da-
privacidade-e-da-protecao-de-dados/privacidade-e-protecao-de-dados-pessoais-em-2019-
28012019>.
_____, Bruno Ricardo. Abrindo a caixa de ferramentas da LGPD para dar vida ao conceito de
privacy by design (no prelo). In Direito & Internet IV: Lei Geral de Proteção de Dados Pessoais
(Organizadores Newton de Lucca et al.,) Quartier Latin, 2019.
_____, Bruno; LEITE MONTEIRO, Renato; OLIVEIRA, Maria Cecília. GDPR Matchup:
Brazil's General Data Protection LAW, IAPP, 2018.
_____, Bruno Ricardo. RIELLI, Mariana. Contribuição do Data Privacy Brasil a MPV
869/2018: tratamento de dados no âmbito do setor público. São Paulo: abril, 2019.
_____, Bruno Ricardo. RIELLI, Mariana. Contribuição do Data Privacy Brasil à audiência
publica de tecnologias de reconhecimento facial (Organizador Ministério Público do Distrito
Federal e Territórios/MPDFT). Brasília: abril, 2019
Calo, Ryan, Artificial Intelligence Policy: A Primer and Roadmap (August 8, 2017).
Disponível em SSRN: https://ssrn.com/abstract=3015350 ou
http://dx.doi.org/10.2139/ssrn.3015350
DOSHI-VELEZ, Finale; KORTZ, Mason. Accountability of AI Under the Law: The Role of
Explanation, 2017.
GARVIE, Clary et al . The Perpetual Line-up Unregulated Police Face Recognition in America:
Georgetwon Univerisity, 2016.
HARTZOG, Woodrow. SELINGER, Evan. Facial recognition is the perfect tool for
oppression. Disponível em: https://medium.com/s/story/facial-recognition-is-the-perfect-tool-
for-oppression-bc2a08f0fe66
MAJONE, Giandomenico. What Price Safety? The Precautionary Principle and its Policy
Implications. Journal of Common Market Studies, 40. 2002, pp. 89-110.
MANTELERO, Alessandro, AI and Big Data: A blueprint for a human rights, social and ethical
impact assessment, Computer Law & Security Review, v. 34, n. 4, p. 754–772, 2018
MANTELERO, Alessandro, Personal data for decisional purposes in the age of analytics: From
an individual to a collective dimension of data protection, Computer Law & Security Review,
v. 32, n. 2, p. 238–255, 2016.
MONTEIRO, Renato Leite. Existe um direito à explicação na Lei Geral de Proteção de Dados
do Brasil? Artigo Estratégico 39, Instituto Igarapé, 2018.
PERSSON, Erik. What are the core ideas behind the Precautionary Principle? Science of the
Total Environment, 557–558, 2016, pp. 134–141.
PURTOVA, Nadezhda. The law of everything. Broad concept of personal data and future of
EU data protection law. Law, Innovation and Technology, v. 10, n. 1, pp. 40–81, 2018.
QUELLE, Claudia, Privacy, Proceduralism and Self-Regulation in Data Protection Law,
Rochester, NY: Social Science Research Network, 2017. p. 96.
RESNIK, David B. Is the Precautionary Principle Unscientific? Studies in the History and
Philosophy of Biological and Biomedical Sciences, 34(2), 2003, pp. 329-344.
SELBST, Andrew D.; POWLES, Julia. Meaningful information and the right to explanation.
International Data privacy Law, 2017, Vol. 7, No. 4, pp. 233-242.
SCHOMBERG, René von. The Precautionary Principle: Its Use Within Hard and Soft Law.
European Journal of Risk Regulation, No. 2, 2012, pp. 147-156.
Science for Environment Policy, The Precautionary Principle: decision making under
uncertainty. Future Brief 18. Produced for the European Commission DG Environment by the
Science Communication Unit, UWE, Bristol, 2017. Disponível em <
http://ec.europa.eu/science-environment-policy >.
SPINA, Alessandro, Risk regulation of big data: has the time arrived for a paradigm shift in
EU data protection, European Journal of Risk Regulation, v. 2, p. 248–252, 2014.
WRIGHT, David; DE HERT, Paul (Orgs.), Privacy Impact Assessment, Dordrecht: Springer
Netherlands, 2012.
WRIGHT, Elias. The Future of Facial Recognition Is Not Fully Known: Developing Privacy
and Security Regulatory Mechanisms for Facial Recognition in the Retail Sector. In Fordham
Intell. Prop. Media & Ent. L.J. 611 (2019). Disponível em:
https://ir.lawnet.fordham.edu/iplj/vol29/iss2/6
ZANATTA, Rafael A. F. Proteção de dados pessoais como regulação do risco: uma nova
moldura teórica? in: I Encontro da Rede de Pesquisa em Governança da Internet. Rio de
Janeiro: Rede de Pesquisa em Governança da Internet, 2018, pp. 175–193.