Todas as ferramentas de detecção de IA que eu já experimentei apresentaram erros. O mais comum é elas falarem que um texto é feito por IA quando foi 100% feito por um humano. Com estes falsos positivos, não recomendo usar estas ferramentas.
Não quer dizer que eu tenha desistido de buscar identificar o uso de LLMs (ou geradores de lero-lero) em atividades que deveriam ter sido feitas por pessoas. Em minha atividade diária, isso é das coisas mais importantes. Passei a fazer isso eu mesmo. Falha bastante (no sentido de deixar textos assim passar), mas pelo menos a falha é minha. Não busco localizar o uso dessas ferramentas para punir os alunos. A instituição para a qual trabalho ainda não tem uma política formal sobre este tipo de ação então não acho adequado tomar qualquer tipo de atitude no sentido de punir quem usa enquanto não existirem critérios amplos para serem seguidos de forma igual por todos em minha posição.
De qualquer forma, eu não me furto da obrigação de indicar sutilmente que o uso foi percebido. Quem já leu um feedback meu e prestou atenção, percebeu que eu estou indicando que eu vi que foi usado um gerador de lero-lero. Penso que perceber o uso dessas ferramentas é preponderante para poder sinalizar para o profissional em formação onde ele deveria ter atuado e feito algo efetivamente.
Ao longo dos semestres tenho percebido o uso mais e mais prevalente dessas ferramentas. E eu acabei percebendo uns padrões de texto que não costumam ser presentes na nossa forma (português brasileiro) de escrever. São indicativos de duas coisas possíveis. A primeira, mais óbvia, é a alteração da forma através da qual a gente se expressa por meio de texto. Da mesma forma que os adolescentes que consomem muitos vídeos de youtube acabam por desenvolver os maneirismos de linguagens dos youtubers, é possível que a gente também passe a escrever de forma a refletir aquilo que a gente lê.
A segunda coisa é a adoção das Lero-Lero machines (LLMs). Estas máquinas geram texto a partir da forma com a qual elas foram apresentadas ao texto. Normalmente o material de treinamento usado foi escrito em inglês então uma coisa que eu percebi é que elas geram texto seguindo uma lógica estadunidense de estruturação do texto, de construção de ideias e de argumentação.
Perceber isso demandou me lembrar do que eu estudei para escrever minha tese de doutorado. Na época (quase 15 anos atrás) meu orientador me apresentou ao método lógico de redação do prof. Gilson Volpato (que agora está na segunda edição). Neste livro somos apresentados a uma forma de escrever que se assemelha de sobremaneira ao que lemos em textos científicos em inglês. Apresenta-se uma ideia ao começo do parágrafo. Esta ideia é confrontada com questões antagônicas com as devidas argumentações, depois são apresentados os elementos de sustentação da ideia principal para, por fim, concluir o argumento em defesa da ideia.
Uma manifestação periférica desse tipo de estrutura se dá em frases que compartilham uma estrutura como esta:
“A tecnologia, nesse enfoque, não deve ser entendida como uma solução pronta, mas como uma possibilidade aberta.”
Esta frase foi retirada de um trabalho acadêmico real oficial. Tudo indica que alguém copiou isso de uma resposta dada por um gerador de lero-lero e colocou num texto que enviou para o professor (no caso, eu) ler e dar nota.
Este é o tipo de frase e de texto que eu apelidei de “Frase Polishop” ou “Texto Polishop” (que poderia muito bem ser chamada de “Frase 1406” ou “texto 1406”, mas daí muita gente não pegaria a referência ao 1406). Parece com frase de texto de vendas que os locutores de canais de televendas usam para falar de um produto. Algo como: “Esta faca não é simplesmente um aparato para a sua cozinha, mas sim uma verdadeira ferramenta de sobrevivência!”. Não há substância efetiva na frase. Ela não traz nada em termos de conteúdo. No entanto, coloca palavras em sequência de forma a levar o leitor a perceber que faz sentido uma palavra estar atrás da outra. No entanto, ao olhar a coisa completa, vemos que é uma frase vazia. Ela não nos diz nada.
Um parágrafo escrito por uma ferramenta geradora de lero-lero mostra estrutura semelhante:
As redes sociais transformam seguidores em clientes fiéis por meio de um processo gradual e estratégico focado na construção de relacionamentos duradouros e na entrega constante de valor. Diferente do marketing tradicional, o ambiente digital permite que as marcas não apenas atraiam, mas interajam, influenciem e colaborem com o público, despertando a decisão de compra e a fidelização. Ao atingir esse nível de conexão emocional, respeito e satisfação, as marcas podem se tornar “lovemarks”, sendo amadas e respeitadas por seus seguidores, que passam a agir como guardiões da marca no mercado.
Para gerar o texto do parágrafo acima eu usei algumas fontes de leitura e pedi que uma lero-lero machine fizesse um resumo pra mim. É possível perceber a apresentação de uma tese ao começo do parágrafo. logo depois, negativa usada para ajudar a sustentar a ideia. Na sequência, argumento para consolidar a sustentação da tese principal proposta. Por fim, o arremate em forma de conclusão. No parágrafo acima, há uma “Frase Polishop” usada para ajudar a consolidar a ideia central.
Escrever frases e textos assim não é algo que nós, brasileiros, fazemos com facilidade e fluidez. Não é o jeito pelo qual aprendemos a escrever nossas redações e – definitivamente – não é o que norteia a redação de cada parágrafo de nossos textos. Então, quando o texto chega dessa maneira, é um grande indicativo de que aquela ideia ou argumentação, acrescentada daquela estrutura de apresentação não vieram organicamente da reflexão de alguém. É aí que eu sinalizo que o texto carece da voz efetiva de quem o escreveu. É aí que eu indico que o texto poderia ser melhor se fosse mais verdadeiro e representasse efetivamente a reflexão feita a partir de uma leitura indicada.
Com o tempo, penso que o uso dessas ferramentas de geração de texto vão influenciar o jeito que escrevemos da mesma forma que os maneirismos dos produtores de conteúdo do YouTube influenciam o modo de falar de seus públicos; daí, as duas coisas que eu indiquei perceber lá atrás vão acabar se misturando. Entretanto, acho que ainda não estamos lá. O mais provável mesmo é que estejam sendo usadas estas ferramentas de geração de texto (ou máquinas de lero-lero) para escrever e “ganhar tempo”.
Isso é uma pena porque o objetivo de uma atividade reflexiva é justamente verificar se o aluno conseguiu fazer conexões entre as ideias presentes nos textos colocados para a leitura, por exemplo. Quando um aluno resolve pedir a uma ferramenta dessas para fazer-lhe um resumo deste texto, o resumo feito é o que a máquina “achou” ser o mais relevante a partir de um tratamento estatístico. Não necessariamente seria a mesma coisa que a pessoa perceberia. Ganha-se tempo mas perde-se a capacidade de extrair a ideia principal de um texto ou a capacidade de perceber o que o autor usa para sustentar suas colocações. De igual maneira, quando um estudante coloca uma questão para a máquina responder, a resposta é redigida pela máquina. A pessoa terceirizou a sua capacidade de pensar em troca de um texto rápido sem qualquer traço de personalidade. O aluno não aprende nada no processo.
Ou seja: a pessoa passa adiante a sua capacidade de fazer as conexões. Por isso, da mesma forma que eu não acho adequado usar uma ferramenta de detecção, eu desrecomendo o uso dessas ferramentas nos estudos para obter o ponto central de um texto ou mesmo fazer um resumo. Para responder perguntas, pior ainda. Há pesquisa que fundamenta esta desrecomendação, como no caso da TU/e, que realizou uma investigação com a finalidade de ter um parecer mais acertado sobre a recomendação (ou não) do uso dessas ferramentas para os estudos. O veredicto foi que não é recomendado o uso por causa dos erros e invenções que as máquinas geradoras de lero-lero fazem.
Aprender demanda esforço. Demanda confrontar o texto, tentar desvendá-lo. Buscar compreender o que o autor quis dizer com aquilo. Tentar fazer os encaixes com o que o professor falou e com o que outros textos estão argumentando. Isso demanda tempo, esforço e não funciona da mesma maneira pra todo mundo. Entretanto, é o processo mais eficiente que temos para aprender conceitos e teorias e tê-los fixados em nossas cabeças. Deixar que máquinas façam isso é um erro. Ganha-se em tempo (como disse antes) mas perde-se na capacidade de desenvolver estes “músculos mentais” que nos permitem fazer as ligações e interpretações.
Um paralelo que eu gosto de fazer nessa argumentação é com relação a outros materiais que a gente consome. Já pensou você delegar para uma ferramenta dessas resumir um disco ou um filme para você? Parece algo inútil, né? Afinal de contas, o bacana de assistir um filme ou ouvir um disco é justamente você investir o seu tempo e se dedicar a essa atividade de consumo. Assim sendo, fazer isso para a leitura de texto e o aprendizado de conceitos é a mesma coisa. O bacana é justamente você investir o seu tempo fazendo a leitura e buscando construir as interpretações.
Quem defende que usar as ferramentas para resumir ideias e extrair pontos importantes de texto seja algo útil para o processo de estudo tem desconhecimento do funcionamento dessas ferramentas, das consequências que acabei de falar ou então tem má intenção com relação ao processo.
Pensemos no funcionamento dessas ferramentas. Quando se pede para que uma ferramenta extraia ideias de um conjunto de materiais de referência é comum que estas máquinas geradoras de lero-lero cometam erros e inventem fatos, conceitos ou termos. Se a pessoa não souber que aquilo está errado (ou seja: não tiver estudado o texto) o erro passa e isso pode ser muito ruim. Normalmente quem pede para uma ferramenta dessa ler algo é porque não está com a intenção de ler o texto original. Então como vai saber que está sendo enganada por algum erro grotesco que a máquina está cometendo?
Daí, volto ao meu argumento: quem recomenda o uso dessas ferramentas desconhece isso ou então está com más intenções.
