Detector IA Turnitin: é confiável? - Capacidades & Limites
Já submeteu um trabalho e se questionou sobre a precisão do detector de IA do Turnitin? Vamos analisar isso.
Este artigo explora as capacidades de IA do Turnitin, investigando o que ele consegue identificar e onde pode apresentar falhas.
Nota: Os relatórios de IA do Turnitin são visíveis apenas para os instrutores. Se você precisa verificar sua pontuação de IA, T-detector oferece uma alternativa com seu detector Turnitin, que disponibiliza as porcentagens de similaridade e de IA para todos os usuários!
Qual a precisão do Turnitin?
De acordo com as declarações oficiais, o Turnitin busca manter a taxa de identificação incorreta de textos escritos por humanos como gerados por IA abaixo de 1% para documentos com mais de 20% de conteúdo gerado por IA. Isso significa que, de cada 100 documentos totalmente escritos por humanos, apenas um poderá ser erroneamente identificado como contendo conteúdo gerado por IA.
Para garantir e verificar essa precisão, o Turnitin realizou testes extensivos em abril de 2023, analisando 800.000 artigos acadêmicos anteriores ao lançamento do ChatGPT. Os testes confirmaram a alegação de que a taxa de falsos positivos se mantém abaixo de 1%.
No entanto, existe uma contrapartida: para alcançar essa baixa taxa de falsos positivos, o Turnitin reconhece a possibilidade de não identificar até 15% do texto gerado por IA em um documento. Por exemplo, se as ferramentas do Turnitin indicarem que 50% de um documento foi escrito por IA, a porcentagem real poderá ser de até 65%.
O que o Indicador de IA do Turnitin Consegue e Não Consegue Detetar
Antes de aprofundarmos a discussão sobre a precisão do Turnitin, é fundamental entender o que o detector de IA do Turnitin procura especificamente.
As capacidades de deteção de IA do Turnitin focam-se em identificar conteúdo que possa ter sido criado ou alterado por ferramentas de IA. Segue-se uma breve descrição geral:
O Que Deteta:
Deteção de Escrita por IA: Identifica texto que aparenta ter sido gerado por ferramentas avançadas de IA, como GPT-3 ou GPT-3.5.
Deteção de Parafraseamento por IA: Avalia se o conteúdo gerado por IA foi posteriormente modificado através de ferramentas de parafraseamento baseadas em IA.
Limitações:
Conteúdo Não em Prosa: O modelo tem dificuldades com conteúdo como poesia, scripts ou código, uma vez que estes não seguem a estrutura de prosa padrão.
Escrita não convencional/de forma curta: O modelo tem dificuldades com tópicos, bibliografias anotadas e outros estilos de escrita fragmentados ou não tradicionais.
Línguas e Traduções: O foco principal é em texto em inglês, podendo não detetar com precisão conteúdo traduzido, a menos que este se assemelhe ao padrão de texto gerado por IA.
Especificidade das Ferramentas de IA: O Turnitin consegue detetar a presença de texto criado por IA, mas não consegue distinguir entre diferentes ferramentas de escrita de IA, como o ChatGPT ou outros modelos de linguagem.
Como Funciona a Deteção de IA do Turnitin
O processo de deteção de IA do Turnitin começa por dividir cada trabalho submetido em blocos de texto, cada um com algumas centenas de palavras, para analisar e procurar sinais de conteúdo gerado por IA. Cada frase dentro destes segmentos recebe uma pontuação que varia entre 0 (indicando escrita humana) e 1 (indicando gerado por IA). O modelo de deteção de IA avalia estas pontuações para determinar a probabilidade de utilização de IA.
Se os segmentos forem assinalados como gerados por IA, são sujeitos a uma análise mais detalhada através do modelo de deteção de parafraseamento por IA, para verificar se o texto foi alterado utilizando ferramentas de parafraseamento de IA. Esta segunda camada de análise também atribui pontuações de 0 a 1 às frases. As frases identificadas como geradas por IA, mas não parafraseadas, são assinaladas de forma diferente das que são detetadas como geradas por IA e parafraseadas. A percentagem final de IA apresentada combina estas conclusões, quantificando tanto o envolvimento direto de IA como as modificações subsequentes, fornecendo uma visão detalhada e abrangente do conteúdo gerado por IA e parafraseado por IA no trabalho.
Assim, a percentagem de IA que vê no relatório corresponde à soma do conteúdo gerado por IA com o conteúdo parafraseado por IA.
Como Consultar a Pontuação de IA do Seu Artigo no Turnitin
A pontuação de deteção de IA do Turnitin geralmente não é disponibilizada diretamente aos estudantes. Instituições de ensino e instrutores podem visualizar estas pontuações de IA através do sistema do Turnitin, mas, tipicamente, esta informação não é fornecida diretamente através dos Learning Management Systems (LMS) ou para os próprios alunos consultarem de forma independente.
Como obter então um relatório detalhado similar aos resultados do Turnitin? O T-detector oferece uma ferramenta profissional que fornece tanto pontuações de similaridade como resultados de deteção de IA. Veja como pode usar o T-detector para obter informações comparáveis aos relatórios do Turnitin:
Passos para Analisar o Seu Artigo no Turnitin:
Aceda à plataforma T-detector.
Envie o documento que pretende analisar. O processo é simples e fácil de usar.
A análise demora normalmente entre 5 a 20 minutos, dependendo do tamanho e da complexidade do documento.
Assim que a análise estiver concluída, receberá um relatório detalhado com a pontuação de similaridade e o conteúdo gerado por IA detetado.
É importante salientar que, ao usar o T-detector, o seu documento não é armazenado na base de dados do Turnitin, o que significa que não afetará futuras submissões do mesmo documento ao Turnitin. Esta funcionalidade torna o T-detector uma excelente opção para verificações preliminares antes da submissão final à sua instituição de ensino!
Por que o relatório do Turnitin indica IA quando não estou usando?
As ferramentas de detecção de IA do Turnitin são sofisticadas, mas não infalíveis. Às vezes, elas podem sinalizar incorretamente conteúdo escrito por humanos como se tivesse sido gerado por IA. Isso geralmente ocorre por alguns motivos:
Frases Comuns e Texto Estruturado: Seus textos podem incluir frases ou estruturas comumente usadas em conteúdos gerados por IA, o que leva a falsos positivos.
Modelos de IA Sofisticados: Embora o Turnitin atualize continuamente seus modelos de detecção, textos gerados por IA mais recentes ou muito sofisticados podem imitar de perto os estilos de escrita humana, dificultando a detecção.
Estilos de Escrita Criativos: Uma escrita não convencional ou criativa pode não corresponder aos padrões típicos que o detector de IA foi treinado para reconhecer, levando a classificações incorretas.
Configurações do Instrutor: A forma como os instrutores configuram os filtros de origem e citação pode afetar se o texto é sinalizado como gerado por IA. Por exemplo, se pequenas correspondências não forem excluídas, o nome do próprio aluno ou frases comuns poderão ser sinalizadas.
Histórico de Envio: Se os alunos enviarem rascunhos do mesmo trabalho, cada envio pode inflacionar artificialmente a pontuação de IA. Os instrutores podem resolver isso excluindo os envios anteriores dos relatórios.
Cópia Direta vs. Citação Correta: Um aluno que copia o texto diretamente pode receber uma pontuação de similaridade semelhante à de outro que referenciou e citou seu conteúdo corretamente. Os educadores podem optar por excluir citações dos relatórios para fornecer uma imagem mais clara da similaridade que não é proveniente de citações.
Citações Extensivas: Trabalhos com um grande número de citações também podem apresentar altas pontuações de similaridade. Os instrutores podem precisar ajustar as configurações para excluir bibliografias e material citado dos cálculos de similaridade.
Resposta do Turnitin a Falsos Positivos
O Turnitin está ciente das limitações e possíveis imprecisões em sua tecnologia de detecção de IA. A empresa incentiva o envio de feedback sobre quaisquer discrepâncias por meio de um botão de feedback na seção do relatório de IA. Esse feedback ajuda a refinar seus modelos e a reduzir os falsos positivos. Além disso, o Turnitin reconhece uma margem de erro e trabalha continuamente para equilibrar a sensibilidade de suas ferramentas, a fim de evitar acusações falsas, mantendo, ao mesmo tempo, uma capacidade de detecção eficaz.
O que fazer se eu tirar uma nota alta na verificação de IA do Turnitin?
Se o Turnitin detectar um alto volume de conteúdo gerado por IA no seu trabalho, veja algumas estratégias para lidar com a situação e, possivelmente, evitar a detecção:
Analise o relatório com atenção: Veja em quais partes do texto o detector de IA do Turnitin encontrou problemas. Tente entender o porquê.
Converse com o professor: Fale com o professor ou responsável sobre o relatório de IA. Explique os trechos sinalizados e peça orientação sobre como revisar o trabalho, se necessário.
Reescreva o conteúdo: Faça mudanças na sua escrita, como:
Mudar a estrutura das frases: Varie a forma como você monta as frases para que o texto pareça mais natural. Use frases simples, médias e longas para evitar que o sistema identifique o texto como sendo gerado por IA.
Seja criativo com a linguagem: Tente mudar a estrutura das frases ou usar letras parecidas de outros alfabetos para enganar os detectores de IA. Cuidado para não prejudicar a leitura.
Trocar sinônimos: Substitua as palavras principais por sinônimos adequados, mantendo o sentido original do texto.
Use diferentes fontes de informação: Consulte várias fontes para evitar que o sistema identifique seu texto como plágio ou cópia. Use livros, artigos e sites para criar um texto mais completo.
Revise com cuidado: Leia o texto com atenção para corrigir frases parecidas ou repetidas que podem ser detectadas pela IA. A revisão manual ajuda a ajustar o tom e o estilo, dificultando a identificação de padrões automáticos.
Use citações corretamente: Incluir citações bem feitas enriquece o texto, demonstra que você pesquisou e diminui a pontuação de similaridade.
Adicione elementos visuais: Use imagens, gráficos e tabelas, pois eles não são analisados pelo detector de similaridade, o que aumenta a originalidade do trabalho.
Faça uma pesquisa aprofundada: Quanto mais você pesquisar, mais original será o seu texto e menor a chance de o Turnitin encontrar similaridades. Um bom trabalho de pesquisa mostra que você entende o assunto, diminuindo a necessidade de citações e paráfrases.
Procure ajuda especializada: Se estiver difícil criar um texto original, procure um serviço de redação acadêmica. Eles podem ajudar a produzir conteúdo original, dentro das normas acadêmicas e sem ser detectado pela IA.
Envie novamente, se puder: Se o professor permitir, envie o trabalho revisado para o Turnitin para ver se a nota de IA diminuiu. Verifique se essa nova entrega está de acordo com as regras do curso ou da instituição.
Ao seguir essas dicas, você poderá lidar com uma nota alta na verificação de IA do Turnitin e garantir a originalidade do seu trabalho.
Perguntas Frequentes
Um resultado de 36% no Turnitin é considerado ruim?
Não há um número fixo para classificar um resultado no Turnitin como bom ou ruim. Um resultado de similaridade de 36% no Turnitin significa que 36% do seu texto é similar a outras fontes. Isso não é necessariamente ruim, mas pode ser preocupante dependendo do tipo de similaridade e das regras da sua instituição. É importante verificar onde essas similaridades ocorrem e garantir que as citações estejam corretas.
O Turnitin consegue detectar o ChatGPT?
Sim, o Turnitin consegue detectar textos gerados por ferramentas de inteligência artificial como o ChatGPT, e conteúdos parafraseados por ferramentas como o Quillbot. Sua capacidade de detectar IA foi criada para identificar tanto conteúdos criados por IA quanto edições feitas por ferramentas de paráfrase com IA.
Como usar o Turnitin?
Para usar o Turnitin, envie seu documento pela plataforma, seguindo as instruções da sua instituição ou professor. O Turnitin vai analisar o texto para verificar a similaridade com outras fontes, e vai mostrar um relatório destacando as partes similares.
Meu professor vai saber se eu usei o ChatGPT?
Se você copiar trechos do ChatGPT e colar no seu trabalho, é bem provável que o Turnitin detecte. O relatório vai mostrar que tem conteúdo gerado por IA, mas não vai dizer qual ferramenta você usou.
O que fazer se o relatório do Turnitin indicar um uso de IA que não aconteceu?
Se você acha que o Turnitin marcou seu texto como gerado por IA por engano (um falso positivo), converse com seu professor e mostre as provas ou faça as revisões que forem necessárias. Você também pode dar sua opinião na plataforma do Turnitin, para ajudar a melhorar a identificação de textos feitos por IA.
Conclusão
Com isso, encerramos nossa discussão sobre a precisão e as limitações do detector de IA da Turnitin.
Agora você está mais informado sobre o que o Turnitin pode e não pode detectar, e como esses fatores podem afetar suas submissões.
Esperamos que esta informação tenha sido útil e agradecemos por ler!