Governança da Inteligência Artificial: O que Estamos Tentando Preservar?
A governança da inteligência artificial tem se tornado um tema central nos debates acadêmicos, empresariais e políticos. Mas, antes de enumerarmos princípios como transparência, privacidade, supervisão humana ou explicabilidade, é essencial perguntar: o que exatamente estamos tentando preservar ao tentar governar essa tecnologia? Esta reflexão é especialmente relevante para as universidades, onde o conhecimento é produzido, ensinado e circulado sob regras éticas e acadêmicas específicas.
Do Controle à Proteção de Valores Fundamentais
Governar não se limita a controlar uma ferramenta ou a criar regras formais para evitar erros. Significa, antes de tudo, definir quais valores e práticas queremos manter intactos. No caso da academia, a resposta inicial parece óbvia: precisamos preservar as condições que nos permitem responder pelo conhecimento que produzimos, ensinamos, organizamos e difundimos.
Quando uma resposta é gerada por IA, ela pode ser clara, convincente e até correta. No entanto, essas qualidades não são suficientes para que ela adquira o mesmo estatuto de uma informação que pode ser rastreada até uma fonte, examinada, confrontada com outras evidências e atribuída a um responsável. Essa distinção nem sempre é visível, porque a IA generativa é muito hábil em produzir o que chamamos de “aparência de conhecimento”. Ela responde com segurança, organiza argumentos, estabelece relações e raramente demonstra a hesitação que associamos à dúvida.
Confiança Baseada na Aparência vs. Confiança Justificada
Um estudo realizado com estudantes universitários ilustra bem esse problema. Os participantes avaliaram respostas elaboradas tanto por bibliotecários profissionais quanto por sistemas de IA, sem saber quem as havia produzido. Não houve diferença significativa na confiança atribuída a cada grupo. Entre os fatores que mais influenciaram a confiança na IA estava precisamente o “conhecimento” que os participantes percebiam no sistema.
O resultado não significa que máquinas e profissionais se tornaram equivalentes. Levanta, porém, uma questão inquietante: podemos confiar antes mesmo de ter razões para confiar? Para uma universidade, a tarefa não é gerar confiança na IA, mas garantir as condições para uma confiança *justificada*: saber de onde vem uma informação, reconhecer seus limites, confrontá-la com as fontes que a sustentam, identificar erros e corrigi-los. Além disso, quando uma decisão institucional está envolvida, é preciso saber quem é o responsável final por essa decisão.
Usos Diversos, Delegações Diferentes
Quando falamos de “uso da IA”, tendemos a tratar o tema como se fosse uma única atividade. Na prática, however, há uma diferença considerável entre pedir a uma ferramenta que melhore a redação de um e‑mail administrativo e permitir que ela sintetize a literatura científica que sustentará uma pesquisa. Há diferença entre traduzir um texto e interpretar uma fonte histórica, entre organizar uma lista de assuntos e decidir quais conceitos representam adequadamente um documento, entre responder qual é o horário de funcionamento de uma biblioteca e orientar um usuário sobre quais evidências científicas sustentam uma afirmação.
Em todos esses casos podemos dizer que “usamos IA”. Mas não estamos delegando a mesma coisa. E talvez seja exatamente a natureza daquilo que delegamos que deva determinar o grau de governança necessário.
Da Produtividade à Consequência para Outrem
Quanto maior a participação da IA na interpretação, na seleção, na recomendação ou em uma decisão que produza consequências para outras pessoas, menos razoável parece tratá-la como um mero instrumento de produtividade. A pergunta deixa de ser apenas “a ferramenta consegue fazer isso?” e passa a ser “o que acontece quando permitimos que ela faça isso em nosso nome?”.
Essa mudança de perspectiva é particularmente importante nas universidades porque nem todas as nossas atividades existem para chegar mais rapidamente a um resultado. Pesquisar, por exemplo, envolve localizar documentos mais depressa (o que pode ser útil), organizar centenas de referências (também útil), mas também formular uma boa pergunta, confrontar perspectivas contraditórias, perceber uma ausência na literatura, reconhecer que uma hipótese não se sustenta ou mudar de ideia diante de uma evidência. Nessas atividades, o percurso importa tanto quanto o resultado.
Aprendizagem: Operar vs. Pensar
Uma iniciativa com estudantes na Escola Superior de Agricultura Luiz de Queiroz, voltada ao conhecimento e à pesquisa, oferece um exemplo concreto. A incorporação de ferramentas generativas e de apoio à pesquisa trouxe maior agilidade às etapas técnicas, e os estudantes demonstraram facilidade em utilizá-las. As dificuldades, entretanto, permaneceram justamente nas competências analíticas, interpretativas e reflexivas. Estamos diante de uma distinção importante: aprender rapidamente a operar uma tecnologia não significa necessariamente aprender a pensar melhor com ela.
Se uma ferramenta resolve em segundos aquilo que alguém deveria aprender a compreender, a eficiência pode ser real e, ainda assim, o ganho ser discutível. O problema, nesse caso, não está apenas na possibilidade de a IA fornecer uma resposta errada. Ela pode fornecer uma resposta excelente e, ainda assim, interferir na própria finalidade da atividade.
Libraries como Espaços de Mediação
As bibliotecas universitárias oferecem um lugar especialmente interessante para observar essas transformações. Talvez porque convivam há muito tempo com uma tensão que agora se apresenta a toda a universidade: facilitar o acesso à informação sem eliminar a mediação necessária para compreendê-la, avaliá-la e utilizá-la responsavelmente.
Uma biblioteca não se torna melhor porque dificulta o acesso à informação. Pelo contrário. Durante séculos, parte considerável de seu desenvolvimento esteve associada à remoção de barreiras: organizar para encontrar, descrever para recuperar, preservar para permitir acesso futuro, ensinar para que as pessoas possam pesquisar com autonomia.
A inteligência artificial pode ampliar enormamente essa capacidade. Mas a biblioteca também sabe que encontrar uma informação não é o mesmo que avaliar sua qualidade; que recuperar documentos não equivale a compreender um campo de conhecimento; e que oferecer uma resposta não significa necessariamente compreender a pergunta.
É nesse ponto que a mediação adquire novo significado.
Da Automação à Interrogação Humana
Durante algum tempo, imaginou-se que a automação poderia diminuir progressivamente a necessidade dessa mediação. Acontece algo curioso com a IA generativa: quanto mais competente ela se torna em produzir respostas, mais importante pode se tornar a capacidade humana de interrogá-las.
De onde veio esta afirmação? Que fontes não aparecem aqui? Por que estas foram selecionadas? Há outra interpretação possível? O sistema está descrevendo uma evidência ou produzindo uma inferência? O que não sabemos? Quem assume a responsabilidade se essa resposta for utilizada?
Essas perguntas não são obstáculos ao uso da tecnologia. São parte das condições para que ela possa ser utilizada dentro de uma instituição cuja matéria-prima é o conhecimento.
Construindo Bases de Conhecimento para Chatbots: Começando pela Instituição
Um modo de tornar essa questão menos abstrata é observar uma proposta para a construção de bases de conhecimento para chatbots em unidades de informação. O ponto de partida é uma inversão significativa: começar não pela ferramenta, mas pela instituição. Antes de escolher o chatbot, é preciso olhar para os documentos que lhe darão sustentação, os registros que poderão ser utilizados, os dados que precisam ser protegidos, as perguntas que o sistema está autorizado a responder e aquelas que devem ser encaminhadas a uma pessoa.
A questão deixa, assim, de ser apenas o que a tecnologia é capaz de fazer e passa a incluir o que a instituição está disposta a permitir que ela faça em seu nome.
Há uma lição importante nessa inversão. Um chatbot não se torna institucionalmente confiável simplesmente porque leva o nome da instituição em sua interface. É necessário definir quem seleciona suas fontes, quem atualiza o conteúdo, quem valida as respostas, quem acompanha mudanças e, talvez mais importante, quando o sistema não deve responder.
Responsabilidade Contínua, Não Apenas Documentos
A responsabilidade institucional, nesse sentido, começa antes da primeira resposta produzida pela IA.
Essa cautela continua necessária mesmo quando o escopo é bastante delimitado. Em uma experiência com um assistente desenvolvido para orientar usuários sobre normas da Associação Brasileira de Normas Técnicas (ABNT), o sistema contava com instruções específicas e documentação institucional como base de conhecimento. Nos testes realizados, respondeu corretamente à maior parte das questões. Ainda assim, algumas respostas foram apenas parciais e, em um dos casos, inventou a ementa de uma lei que não havia sido fornecida. O exemplo é especialmente revelador porque mostra que uma base confiável pode reduzir o risco, mas não elimina a necessidade de julgamento.
Isso nos leva a outro deslocamento necessário. Durante muito tempo, grande parte das orientações sobre IA concentrou-se no comportamento individual: não inserir dados sensíveis, verificar as respostas, conferir as referências, declarar o uso da ferramenta, observar possíveis vieses.
Tudo isso continua sendo necessário. Mas é insuficiente.
“Confira a resposta da IA” parece uma recomendação simples. Mas quem deve conferir? Com quais conhecimentos? Em quais situações? Contra quais fontes? O que acontece quando o erro não é facilmente perceptível? E quem responde quando o sistema foi incorporado a um serviço institucional?
Quando uma universidade disponibiliza, recomenda, contrata ou integra um sistema de inteligência artificial a seus processos, já não pode transferir integralmente para cada pessoa a responsabilidade de descobrir como utilizá-lo com segurança.
Da Escolha Individual às Respostas Institucionais
É nesse momento que as escolhas individuais passam a exigir respostas institucionais.
Isso significa definir responsabilidades. Quem pode autorizar determinado uso? Que dados podem ser processados? Quem verifica as respostas quando a verificação é necessária? Que atividades exigem supervisão? Como são registradas falhas? Quem acompanha mudanças no sistema? Quando uma ferramenta precisa ser reavaliada? Quem pode determinar sua suspensão?
Essas questões são particularmente importantes porque sistemas generativos não são objetos estáveis. Modelos são atualizados, funcionalidades aparecem e desaparecem, políticas de tratamento de dados mudam, fornecedores alteram condições de uso. Uma avaliação realizada hoje não garante que o mesmo sistema se comporte da mesma maneira amanhã.
Por isso, não basta produzir um documento antes da implantação e considerá-lo encerrado. Estamos diante de uma responsabilidade contínua.
Um Princípio Fundamental: O Direito de Não Delegar
No USP, essa discussão já começa a adquirir forma institucional. O Escritório de Transformação Digital e Inteligência Artificial (E-TIA) recebeu a atribuição de fortalecer a governança institucional, definir diretrizes e promover o uso responsável da IA no ensino, na pesquisa e na gestão. Entre seus princípios norteadores estão ética, transparência e responsabilidade, centralidade da missão acadêmica e uma afirmação especialmente pertinente a esta discussão: a decisão final cabe ao ser humano.
Mas talvez exista um princípio que qualquer estrutura criada para orientar o uso da inteligência artificial precise preservar desde o início: a possibilidade de decidir não delegar.
Esse ponto é menos óbvio do que parece.
Quando uma tecnologia demonstra que consegue executar determinada atividade, surge rapidamente a pergunta sobre como incorporá-la. Discutimos segurança, treinamento, custos e supervisão. Quase sem perceber, a decisão fundamental já foi tomada: a atividade será automatizada; resta descobrir em quais condições.
Mas uma governança que sempre termina na adoção não é inteiramente governança. É gerenciamento da adoção.
Há atividades que podem ser automatizadas com baixo risco e grande benefício. Outras podem ser realizadas com IA desde que exista supervisão adequada. Algumas talvez devam permanecer essencialmente humanas, não porque seres humanos sejam infalíveis, evidentemente não são, mas porque julgamento, responsabilidade, diálogo ou aprendizagem fazem parte da própria atividade que pretendemos realizar.
Reconhecer isso não significa resistir à inovação. Significa recusar uma ideia mais problemática: a de que tudo aquilo que pode ser automatizado deve necessariamente sê-lo.
O Ethos da Ciência e a IA Generativa
Robert K. Merton, ao refletir sobre o ethos da ciência, chamou atenção para algo que continua atual: o conhecimento científico não depende apenas do talento individual de quem pesquisa. Ele se sustenta também em normas e práticas coletivas que permitem que afirmações sejam compartilhadas, examinadas, criticadas e corrigidas. A ciência é uma realização intelectual, mas também uma instituição.
A inteligência artificial generativa não elimina essas condições. Ao contrário, torna mais urgente torná-las visíveis.
Talvez seja esse o ponto que corremos o risco de perder quando reduzimos governança a uma lista de princípios éticos ou a um conjunto de controles técnicos. Transparência, rastreabilidade, supervisão humana e responsabilidade não são importantes porque constituam uma espécie de ritual para tornar a IA aceitável. São importantes porque protegem algo anterior à tecnologia: a possibilidade de examinar como chegamos ao que afirmamos saber.
O que uma Universidade Não Pode Terceirizar
Podemos delegar tarefas. Podemos automatizar operações. Podemos utilizar sistemas cada vez mais sofisticados para ampliar capacidades que antes eram exclusivamente humanas. E provavelmente faremos tudo isso em escala crescente.
Mas a responsabilidade pelo conhecimento produzido, ensinado e colocado em circulação em nome de uma instituição não pode desaparecer dentro do sistema que ajudou a produzi-lo.
Por isso, talvez a pergunta mais importante para as universidades não seja quanto de inteligência artificial somos capazes de incorporar. É outra: ao incorporá-la, quais responsabilidades continuamos dispostos a assumir?
A resposta a essa pergunta dirá muito mais sobre nossa governança da inteligência artificial do que a quantidade de ferramentas que conseguirmos adotar.
Fonte: Jornal
Fonte: neuraartificial.com.br
Gerar Post/Story