Turnitin detecta IA? - Notas, funcionamento e relatórios

Ei! Já se perguntou como o Turnitin monitora o conteúdo gerado por AI em seus trabalhos? 

Se você é um estudante preocupado com um trabalho acadêmico ou um professor que busca manter tudo justo, entender as ferramentas do Turnitin é essencial. 

Então, vamos descobrir como esse sistema inteligente funciona, o que ele consegue detectar e quem tem acesso a cada informação. Vamos lá!

O Turnitin detecta AI?

Sim, o Turnitin pode identificar conteúdo gerado por AI e emitir um relatório. Essa funcionalidade foi incorporada aos serviços do Turnitin a partir de 4 de abril de 2023, garantindo que todas as tarefas enviadas pela plataforma sejam verificadas não só em relação ao plágio, mas também quanto à presença de material gerado por AI.  

Quem pode ver o relatório de detecção de AI?

A visibilidade dos relatórios de detecção de AI depende se a instituição ou o professor habilitou esse recurso. Em geral, esses relatórios — que incluem uma pontuação de AI indicando a probabilidade de o conteúdo ter sido produzido por AI — não ficam visíveis aos alunos. Normalmente, apenas os professores têm acesso a eles, podendo usar as informações para orientar ações ou discussões sobre integridade acadêmica.

Curioso para saber o que seu professor vê ao revisar seu trabalho no Turnitin?  

Relaxe, há uma alternativa se você está ansioso para descobrir todos os detalhes do seu trabalho. Serviços como "T-detector" estão aqui para ajudar! Utilizando dados oficiais do Turnitin, esse serviço permite que você veja exatamente o que seu professor visualiza. Você recebe um relatório que apresenta tanto a porcentagem de similaridade quanto os resultados da detecção de AI. É uma ferramenta excelente para qualquer estudante que deseje analisar a fundo, compreender suas pontuações e aprimorar suas tarefas antes da entrega final.

Quem Pode Acessar o Detector de IA Turnitin?

Apenas usuários com licença Turnitin Originality podem acessar a detecção de textos gerados por IA. Se você utiliza Turnitin Similarity, Feedback Studio ou Originality Check, será necessário conversar com o gerente da sua conta Turnitin sobre as opções de acesso. Usuários do iThenticate 2.0 também podem adicionar esse recurso entrando em contato com o gerente de conta.

A partir de 1º de janeiro de 2024, a detecção de textos por IA estará disponível exclusivamente com a licença Originality. Sem essa licença, os usuários não terão acesso às pontuações e relatórios de IA, mesmo para submissões anteriores. Entretanto, instituições que possuírem o complemento Originality poderão visualizar os dados de IA em todas as submissões.

A detecção de IA pode ser encontrada nos Relatórios de Similaridade em plataformas LMS como Moodle, Blackboard e Canvas, embora seja necessário acessar o relatório completo para ver os detalhes da IA.

Como Funciona o Indicador de IA do Turnitin

Visão Geral 

Quando um trabalho é enviado ao Turnitin, o sistema começa a análise dividindo o texto em blocos com cerca de cinco a dez frases cada. 

Esses blocos são propositalmente sobrepostos para garantir que cada frase seja analisada dentro de seu contexto completo. O modelo de detecção de IA do Turnitin avalia cada frase em uma escala de 0 a 1, onde 0 indica que a frase provavelmente foi escrita por um humano e 1 sugere que ela foi gerada por IA. 

Em seguida, calcula-se a média dessas pontuações ao longo do documento para oferecer uma previsão geral sobre o quanto o texto pode ter sido gerado por IA.

Modelos de IA Detectáveis

Atualmente, as capacidades de detecção de IA do Turnitin englobam:

• GPT-3 e GPT-3.5: Estes foram os modelos iniciais em que o Turnitin concentrou seus esforços, identificando textos gerados por ferramentas baseadas nessas tecnologias, como o ChatGPT.

• GPT-4: Após testes extensivos, o Turnitin confirmou que seu sistema frequentemente consegue detectar textos produzidos pelo GPT-4, também conhecido como ChatGPT Plus.

• Planos de Expansão: O Turnitin está trabalhando ativamente para incluir modelos adicionais, como o GPT-4o e o LLaMA, em suas capacidades de detecção, refletindo a evolução contínua dos Modelos de Linguagem de Grande Porte (LLMs).

Capacidades de Detecção

O detector de IA do Turnitin foi especialmente projetado para identificar:

• Conteúdo Gerado por IA: Isso abrange a geração direta de texto por IA, onde o conteúdo é completamente criado por uma IA.

• Conteúdo Parafraseado por IA: Refere-se a textos inicialmente gerados por IA, que depois são modificados por ferramentas de parafraseamento de IA, como Quillbot, o recurso de parafraseamento do Grammarly e o Scribbr. Essa funcionalidade aprimora a capacidade do sistema de identificar textos que foram sutilmente alterados para escapar da detecção.

Indicadores e Relatórios

No relatório de redação com IA, o Turnitin utiliza uma codificação por cores para destacar os diferentes níveis de envolvimento da IA, ajudando os instrutores a interpretarem os resultados de forma eficaz.

O modelo do Turnitin é calibrado para alcançar uma alta taxa de precisão, sinalizando o conteúdo como gerado por IA somente quando há pelo menos 98% de certeza. Esse critério rigoroso contribui para minimizar falsos positivos, embora se reconheça que até 15% do texto produzido por IA possa passar despercebido.

Integração com LMS

As capacidades de detecção de IA do Turnitin estão integradas nos Sistemas de Gestão de Aprendizagem (LMS), como Moodle, Blackboard e Canvas, por meio do Relatório de Similaridade. Contudo, indicadores específicos de escrita por IA não estão embutidos diretamente nas interfaces do LMS; os usuários precisam acessar o relatório detalhado para visualizar a pontuação de IA.

Considerações sobre Viés

Reconhecendo o potencial de viés, especialmente contra pessoas que estão aprendendo a segunda língua ou em áreas de estudo menos comuns, o Turnitin desenvolveu seu modelo de detecção de IA com um forte foco na equidade. O desenvolvimento do modelo levou em conta a necessidade de reduzir desvantagens para grupos sub-representados, buscando uma aplicação justa em diversos contextos acadêmicos.

Relatório de IA do Turnitin: Pontuação, Indicadores Visuais & Porcentagem

No Relatório de Similaridade do Turnitin, a seção dedicada à IA apresenta duas pontuações específicas:

• Texto Gerado por IA: Esta pontuação destaca trechos que provavelmente foram produzidos por uma ferramenta de IA, especificamente por um Modelo de Linguagem Ampla (LLM).

• Texto Parafraseado por IA: Esta pontuação identifica trechos que parecem ter sido gerados por IA e, posteriormente, alterados por ferramentas de parafraseamento de IA, como o Quillbot.

Indicadores Visuais no Relatório

O Turnitin utiliza diversas cores em seus relatórios para representar diferentes níveis de envolvimento da IA:

• Destaque Ciano: Indica trechos que provavelmente foram gerados por IA.

• Destaque Roxo: Sinaliza trechos que foram tanto gerados por IA quanto parafraseados por IA.

• Azul com Porcentagem (0-100): Exibe a proporção do texto na submissão que possivelmente veio da IA, dando ênfase à prosa.

• Cinzento (Sem Porcentagem): Indica que a submissão não pode ser analisada para detecção de IA, possivelmente devido a incompatibilidades de tipo ou tamanho do arquivo.

• Erro (!): Denota uma falha no processamento, o que pode exigir uma nova tentativa ou uma ação adicional caso a submissão esteja dentro dos padrões.

Para evitar falsos positivos, pontuações de detecção de IA inferiores a 20% são tratadas com cautela:

• 0%-19% (*%): Essas baixas porcentagens são marcadas com um asterisco e um sinal de porcentagem (*%) e não são quantificadas no relatório, a fim de minimizar a identificação incorreta de textos humanos como gerados por IA.

Quanto de IA é Permitido no Turnitin?

O Turnitin não estabelece um limite máximo para o conteúdo gerado por IA; ele apenas identifica e destaca quando há um envolvimento significativo de IA. A aceitação do conteúdo gerado por IA depende das políticas de integridade acadêmica de cada instituição, portanto, estudantes e professores devem conferir as diretrizes específicas para entender o uso permitido da IA em trabalhos acadêmicos.

Diferença em Relação à Pontuação de Similaridade

• Pontuação de Similaridade: Mede a porcentagem de texto que corresponde a fontes presentes na vasta base de dados do Turnitin.

• Porcentagem de Detecção de IA: Avalia, de forma independente, a parte do texto que pode ter sido gerada por ferramentas de IA. Essa pontuação opera separadamente da pontuação de similaridade, focando exclusivamente no conteúdo originado pela IA.

Lidando com Equívocos na Detecção de IA do Turnitin

A detecção de escrita por IA do Turnitin busca alta precisão, mas pode cometer erros, especialmente em textos com pouca variação estrutural ou com parafraseio intenso. Se você achar que uma submissão foi sinalizada de forma equivocada:

1. Forneça Feedback: Clique no botão de feedback disponível no relatório de escrita por IA para informar o Turnitin. Isso contribui para o aperfeiçoamento da precisão ao longo do tempo.

2. Análise Contextual: Para documentos extensos, leve em conta a combinação de conteúdos gerados por IA e textos originais. Em textos curtos, o sistema pode adotar uma abordagem "tudo ou nada", classificando um conteúdo misto como se fosse inteiramente gerado por IA.

3. Discricionariedade do Educador: Os professores devem considerar os resultados da detecção de IA juntamente com outras avaliações e diálogos com os alunos para assegurar uma avaliação justa dos trabalhos, reconhecendo as limitações do sistema em diferenciar textos produzidos por IA de textos humanos.

Perguntas Frequentes

A detecção de AI do Turnitin é gratuita?

Não, o Turnitin começará a cobrar pelos seus serviços de detecção de escrita de AI a partir de janeiro de 2024.

A detecção de AI pode analisar trabalhos enviados anteriormente?

Sim, é possível verificar a escrita de AI em trabalhos enviados anteriormente, desde que sejam reenviados para análise e que a detecção de AI esteja ativada na sua conta.

Quais idiomas o Turnitin suporta?

Atualmente, a detecção de AI do Turnitin suporta documentos em inglês e, a partir de setembro de 2024, em espanhol para conteúdos estendidos. Contudo, as ferramentas de detecção de parafraseamento de AI estão disponíveis apenas para textos em inglês.

Como ocultar o relatório de AI?

Os administradores podem desativar o recurso de detecção de AI nas configurações da conta do Turnitin, o que efetivamente oculta o relatório de AI dos resultados.

A tecnologia de detecção de AI evoluirá com o tempo?

Sim, à medida que o Turnitin continua a desenvolver e aperfeiçoar seu modelo, as capacidades de detecção e, consequentemente, os percentuais de AI podem variar. Entretanto, o percentual de AI de um documento específico permanecerá o mesmo, a menos que ele seja reenviado para processamento.

O Turnitin identifica textos modificados pelo Grammarly como AI?

Normalmente, o detector do Turnitin não identifica textos alterados pelas ferramentas básicas de ortografia, gramática e pontuação do Grammarly como gerados por AI. Porém, conteúdos criados utilizando os recursos generativos com AI do Grammarly (como criação de rascunhos e parafraseamento) provavelmente serão identificados como gerados por AI.

Conclusão 

Em suma, Turnitin conta com capacidades robustas para detectar conteúdos gerados por IA, fornecendo ferramentas essenciais para preservar a integridade acadêmica. 

Enquanto os instrutores podem explorar todos os detalhes por meio dos relatórios, os estudantes podem precisar buscar essas informações em outros lugares. 

Lembre-se de que a eficácia do Turnitin depende diretamente de como a sua escola o utiliza. Espero que esta análise tenha sido útil—obrigado por acompanhar!