SV/A - Souza Vasconcellos Advogados

Enquanto você lê esta postagem, provavelmente existem dezenas de algoritmos fazendo previsões sobre você. Provavelmente foi um algoritmo que determinou sua exposição a este artigo porque previu que você o leria. Previsões algorítmicas podem determinar se você obtém um empréstimo, um emprego , um apartamento ou um seguro e muito mais.

Essas análises preditivas estão conquistando cada vez mais esferas da vida. E, no entanto, ninguém pediu sua permissão para fazer tais previsões. Nenhuma agência governamental está supervisionando. Ninguém está informando sobre as profecias que determinam seu destino. Pior ainda, uma simples busca na literatura acadêmica pela ética da previsão mostra que é um campo de conhecimento pouco explorado. Como sociedade, não pensamos nas implicações éticas de fazer previsões sobre pessoas.

Desafiar as probabilidades está no cerne do que significa ser humano. Nossos maiores heróis são aqueles que desafiaram suas probabilidades: Mahatma Gandhi, Helen Keller, Nelson Mandela e outros. Todos eles tiveram um sucesso muito além das expectativas. Todo professor de escola conhece crianças que alcançaram mais do que receberam em suas cartas. Além de melhorar a base de todos, queremos uma sociedade que permita e estimule ações que desafiem as probabilidades. No entanto, quanto mais usamos a IA para categorizar as pessoas, prever seu futuro e tratá-las de acordo, mais estreitamos a agência humana, o que, por sua vez, nos expõe a riscos inexplorados.

Num passado recente, a previsão tem sido usada para informar práticas como a definição de prêmios de seguro. Essas previsões tendiam a ser sobre grandes grupos de pessoas – por exemplo, quantas pessoas em 100.000 vão bater seus carros. Alguns desses indivíduos seriam mais cuidadosos e sortudos do que outros, mas os prêmios eram aproximadamente homogêneos (exceto para categorias amplas como faixas etárias) sob a suposição de que o agrupamento de riscos permite que os custos mais altos dos menos cuidadosos e sortudos sejam compensados ​​pelos custos relativamente mais baixos. custos dos cuidadosos e sortudos. Quanto maior o pool, mais previsíveis e estáveis ​​eram os prêmios.

Hoje, a previsão é feita principalmente por meio de algoritmos de “machine learning” que usam estatísticas para preencher as lacunas do desconhecido. Algoritmos de texto usam enormes bancos de dados de linguagem para prever o final mais plausível para uma sequência de palavras. Os algoritmos de jogos usam dados de jogos anteriores para prever o melhor próximo movimento possível. E algoritmos aplicados ao comportamento humano usam dados históricos para inferir nosso futuro: o que vamos comprar, se planejamos mudar de emprego, se vamos adoecer, se vamos cometer um crime ou quebrar nosso carro. Sob esse modelo, o seguro não é mais sobre o agrupamento de riscos de grandes grupos de pessoas. Em vez disso, as previsões tornaram-se individualizadas e você está cada vez mais pagando seu próprio caminho, de acordo com suas pontuações de risco pessoal – o que levanta um novo conjunto de preocupações éticas.

Uma característica importante das previsões é que elas não descrevem a realidade. A previsão é sobre o futuro, não sobre o presente, e o futuro é algo que ainda não se tornou real. Uma previsão é um palpite, e todos os tipos de avaliações subjetivas e preconceitos em relação a riscos e valores são incorporados a ela. Pode haver previsões mais ou menos precisas, com certeza, mas a relação entre probabilidade e realidade é muito mais tênue e eticamente problemática do que alguns supõem.

As instituições de hoje, no entanto, muitas vezes tentam passar as previsões como se fossem um modelo da realidade objetiva. E mesmo quando as previsões da IA ​​são meramente probabilísticas, elas são frequentemente interpretadas como deterministas na prática – em parte porque os seres humanos são ruins em entender a probabilidade e em parte porque os incentivos para evitar o risco acabam reforçando a previsão. Por exemplo, se alguém tem 75% de probabilidade de ser um mau funcionário, as empresas não vão querer correr o risco de contratá-lo quando tiverem candidatos com pontuação de risco mais baixa.

As maneiras como estamos usando as previsões levantam questões éticas que levam de volta a um dos mais antigos debates da filosofia: se existe um Deus onisciente, podemos dizer que somos verdadeiramente livres? Se Deus já sabe tudo o que vai acontecer, isso significa que tudo o que vai acontecer foi predeterminado – caso contrário, seria incognoscível. A implicação é que nosso sentimento de livre-arbítrio nada mais é que isso: um sentimento. Essa visão é chamada de fatalismo teológico.

O que preocupa nesse argumento, acima e além das questões sobre Deus, é a ideia de que, se previsões precisas são possíveis (independentemente de quem as faça), então o que foi previsto já foi determinado. Na era da IA, essa preocupação se torna ainda mais importante, pois a análise preditiva está constantemente mirando nas pessoas.

O grande problema é que, ao fazer previsões sobre o comportamento humano, assim como fazemos previsões sobre o clima, estamos tratando as pessoas como coisas. Parte do que significa tratar uma pessoa com respeito é reconhecer seu arbítrio e capacidade de mudar a si mesma e suas circunstâncias. Se decidirmos que sabemos qual será o futuro de alguém antes que ele chegue e tratá-lo de acordo, não estamos dando a ele a oportunidade de agir livremente e desafiar as probabilidades dessa previsão.

Outro problema ético relacionado com a previsão do comportamento humano é que, ao tratar as pessoas como coisas, estamos criando profecias autorrealizáveis. As previsões raramente são neutras. Na maioria das vezes, o ato de predição intervém na realidade que pretende meramente observar. Por exemplo, quando o Facebook prevê que uma postagem se tornará viral, ele maximiza a exposição a essa postagem e, eis que a postagem se torna viral. Ou voltemos ao exemplo do algoritmo que determina que é improvável que você seja um bom funcionário. Sua incapacidade de conseguir um emprego pode ser explicada não pela precisão do algoritmo, mas porque o próprio algoritmo está recomendando que as empresas não contratem você e as empresas sigam seus conselhos. Ficar na lista negra por um algoritmo pode restringir severamente suas opções na vida.

Os filósofos que estavam preocupados com o fatalismo teológico no passado se preocupavam que se Deus é onisciente e onipotente, então é difícil não culpar Deus pelo mal. Como David Hume escreveu: “Reconciliar a […] contingência das ações humanas com a presciência […] e ainda libertar a Divindade de ser a autora do pecado, foi encontrado até agora para exceder todo o poder da filosofia”. 

No caso da IA, se a análise preditiva está em parte criando a realidade que pretende prever, então ela é parcialmente responsável pelas tendências negativas que estamos vivenciando na era digital, desde o aumento da desigualdade até a polarização , desinformação e danos a crianças e adolescentes. 

Fernando Henrique Ferreira de Souza á advogado no SV/A – Souza e Vasconcellos advogados, DPO e entusiasta de inovações no mundo do Direito e dos Negócios.