Turnitin individua l'IA? - Punteggi, funzionamento e report
Ciao! Ti sei mai chiesto come Turnitin monitori i contenuti generati dall'IA nei tuoi documenti?
Che tu sia uno studente alle prese con un compito di fine corso o un insegnante che mira a mantenere le cose giuste, comprendere il toolkit di Turnitin è fondamentale.
Quindi, vediamo come funziona questo sistema efficace, cosa riesce a individuare e chi ha accesso a queste informazioni. Andiamo al sodo!
Turnitin rileva l'IA?
Sì, Turnitin è in grado di rilevare contenuti generati dall'IA e di produrre un rapporto. Questa funzionalità è stata integrata nei servizi Turnitin a partire dal 4 aprile 2023, assicurando che tutti i compiti inviati tramite la piattaforma vengano controllati non solo per il plagio, ma anche per la presenza di materiale generato dall'IA.
Chi può vedere il report di rilevamento dell'IA?
La visibilità dei report di rilevamento dell'IA dipende dall'abilitazione di questa funzionalità da parte dell'istituzione o dell'insegnante. Generalmente, questi report, che includono un punteggio IA indicante la probabilità che il contenuto sia stato generato dall'IA, non sono visibili agli studenti, ma solo agli insegnanti, che possono poi scegliere di utilizzare le informazioni per orientare ulteriori azioni o discussioni sull'integrità accademica.
Sei curioso di sapere cosa vede il tuo insegnante quando controlla il tuo compito su Turnitin?
Non preoccuparti, esiste una soluzione se desideri conoscere tutti i dettagli del tuo compito. Servizi come "T-detector" vengono in tuo aiuto! Utilizzando i dati ufficiali di Turnitin, questo servizio ti permette di vedere esattamente ciò che visualizza il tuo insegnante. Otterrai un report che include sia la percentuale di somiglianza sia i risultati del rilevamento dell'IA. È un ottimo strumento per ogni studente che desidera approfondire, comprendere i propri punteggi e perfezionare i propri compiti prima della consegna finale.
Chi può accedere al sistema di rilevamento AI di Turnitin?
Solo gli utenti in possesso di una licenza Turnitin Originality possono accedere alla funzione di rilevamento della scrittura AI. Se utilizzi Turnitin Similarity, Feedback Studio o Originality Check, dovrai discutere le opzioni di accesso con il tuo account manager di Turnitin. Gli utenti di iThenticate 2.0 possono aggiungere questa funzionalità contattando il proprio account manager.
A partire dal 1° gennaio 2024, la funzione di rilevamento della scrittura AI sarà disponibile esclusivamente con la licenza Originality. Senza questa licenza, gli utenti non potranno accedere ai punteggi e ai report AI, nemmeno per i lavori già inviati. Tuttavia, gli istituti che hanno acquistato l'add-on Originality potranno visualizzare i dati AI relativi a tutti i lavori inviati.
La funzione di rilevamento AI è disponibile all'interno dei Rapporti di Similarità sulle piattaforme LMS come Moodle, Blackboard e Canvas; tuttavia, gli utenti devono accedere al report completo per visualizzare i dettagli AI.
Come Funziona l'Indicatore AI di Turnitin
Panoramica
Quando un elaborato viene caricato su Turnitin, il sistema avvia l'analisi suddividendo il testo in sezioni di circa cinque-dieci frasi ciascuna.
Queste sezioni si sovrappongono intenzionalmente, assicurando che ogni frase sia analizzata nel suo contesto più ampio. Il modello di rilevamento AI di Turnitin analizza poi ogni frase su una scala da 0 a 1: 0 indica che la frase è probabilmente scritta da un umano, mentre 1 suggerisce una generazione da parte dell'AI.
Per fornire una stima complessiva di quanto il testo possa essere stato generato dall'AI, viene calcolata la media di questi punteggi sull'intero documento.
Modelli AI Rilevabili
Attualmente, le capacità di rilevamento AI di Turnitin includono:
GPT-3 e GPT-3.5: Questi sono stati i primi modelli su cui Turnitin si è concentrata, identificando testi generati da strumenti basati su queste tecnologie, come ChatGPT.
GPT-4: In seguito a numerosi test, Turnitin ha confermato che il suo sistema è spesso in grado di rilevare testi prodotti da GPT-4, noto anche come ChatGPT Plus.
Piani di Espansione: Turnitin sta lavorando attivamente per integrare ulteriori modelli come GPT-4o e LLaMA nelle sue capacità di rilevamento, in linea con la continua evoluzione e lo sviluppo dei Modelli Linguistici di Grandi Dimensioni (LLM).
Capacità di Rilevamento
Il rilevatore AI di Turnitin è specificamente progettato per identificare:
Contenuto Generato dall'AI: Include la generazione diretta di testo tramite AI, dove il testo è interamente prodotto da un'AI.
Contenuto Parafrasato dall'AI: Si tratta di testo inizialmente generato dall'AI e successivamente modificato tramite strumenti di parafrasi AI, come Quillbot, lo strumento di parafrasi di Grammarly e Scribbr. Questa funzionalità migliora la capacità del sistema di individuare testi che sono stati modificati in modo sottile per evitare di essere rilevati.
Indicatori e Reporting
Nel report sulla scrittura AI, Turnitin utilizza un codice colore per evidenziare i diversi tipi di utilizzo dell'AI, aiutando i docenti a interpretare i risultati in modo efficace.
Il modello di Turnitin è calibrato per garantire un'elevata accuratezza, segnalando un contenuto come generato dall'AI solo con una certezza di almeno il 98%. Questa soglia rigorosa aiuta a ridurre al minimo i falsi positivi, sebbene sia noto che fino al 15% del testo scritto dall'AI potrebbe non essere rilevato.
Integrazione LMS
Le funzionalità di rilevamento AI di Turnitin sono integrate nei Learning Management Systems (LMS) come Moodle, Blackboard e Canvas tramite il Report di Similitudine. Tuttavia, gli indicatori specifici della scrittura AI non sono integrati direttamente nelle interfacce LMS; gli utenti devono invece accedere al report dettagliato per visualizzare il punteggio AI.
Considerazioni sulla Distorsione
Consapevole del potenziale di distorsioni, specialmente nei confronti di studenti di seconda lingua o in aree tematiche meno comuni, Turnitin ha sviluppato il suo modello di rilevamento AI ponendo l'accento sull'equità. Lo sviluppo del modello ha considerato la necessità di ridurre al minimo qualsiasi svantaggio per i gruppi sottorappresentati, puntando a un'applicazione imparziale in diversi contesti accademici.
Turnitin AI Report: Punteggio, indicatori visivi e percentuale
All’interno del rapporto di similarità di Turnitin, la sezione AI Report mostra due punteggi specifici:
AI-Generated Text: Questo punteggio individua il testo che probabilmente ha avuto origine da uno strumento AI, in particolare un Large Language Model (LLM).
AI-Paraphrased Text: Questo punteggio identifica il testo che sembra essere generato dall'AI e quindi modificato da strumenti di parafrasi AI come Quillbot.
Indicatori visivi nel rapporto
Turnitin utilizza vari colori nei suoi report per indicare diversi tipi di coinvolgimento dell'AI:
Cyan Highlight: Indica il testo che è probabilmente generato dall'AI.
Purple Highlight: Indica il testo che è sia generato dall'AI sia parafrasato dall'AI.
Blue with a Percentage (0-100): Mostra la proporzione del testo del compito che probabilmente ha avuto origine dall'AI, concentrandosi in particolare sulla prosa.
Gray (No Percentage): Indica che l'invio non può essere elaborato per il rilevamento dell'AI, potenzialmente a causa di tipi o dimensioni di file incompatibili.
Error (!): Indica un errore di elaborazione, che richiede un nuovo tentativo o un'ulteriore azione se l'invio soddisfa gli standard dei file.
Per prevenire falsi positivi, i punteggi di rilevamento dell'AI inferiori al 20% vengono gestiti con cautela:
0%-19% (*%): Queste basse percentuali sono contrassegnate con un asterisco e un segno di percentuale (*%) e non sono quantificate nel report. Questa misura ha lo scopo di ridurre al minimo gli errori nell'identificazione errata del testo scritto da umani come generato dall'AI.
Quanto AI è consentito in Turnitin?
Turnitin non specifica un limite massimo consentito per i contenuti generati dall'AI; si limita a identificare e segnalare un coinvolgimento significativo dell'AI. L'effettiva accettazione dei contenuti generati dall'AI è determinata dalle politiche di integrità accademica di ogni istituzione, pertanto studenti e docenti devono consultare le loro linee guida specifiche per comprendere l'uso consentito dell'AI nel lavoro accademico.
Distinzione dai punteggi di similarità
Similarity Score: Misura la percentuale di testo che corrisponde alle fonti all'interno del vasto database di Turnitin.
AI Detection Percentage: Valuta in modo indipendente la quantità di testo che potrebbe essere stata generata da strumenti AI. Questo punteggio funziona indipendentemente dal punteggio di similarità, concentrandosi esclusivamente sui contenuti generati dall'AI.
Gestione degli Errori nel Rilevamento AI di Turnitin
Il sistema di rilevamento della scrittura AI di Turnitin è progettato per essere molto preciso, ma può commettere errori, specialmente con testi che presentano minime variazioni strutturali o un uso intensivo del parafrasi. Se credi che un documento sia stato erroneamente segnalato:
Invia un Feedback: Utilizza il pulsante di feedback nel report di scrittura AI per informare Turnitin. Questo contribuirà a migliorare la precisione nel tempo.
Valutazione Contestuale: Per documenti lunghi, considera la proporzione tra testo generato dall'AI e testo originale. Nei testi brevi, l'approccio "tutto o niente" del sistema potrebbe erroneamente identificare contenuti misti come completamente generati dall'AI.
Giudizio del Docente: I docenti dovrebbero considerare i risultati del rilevamento AI insieme ad altre valutazioni e al dialogo con gli studenti per garantire una valutazione corretta del loro lavoro, tenendo conto dei limiti del sistema nel distinguere tra testo prodotto dall'AI e testo scritto da umani.
FAQ
Il rilevamento AI di Turnitin è gratuito?
No, a partire da gennaio 2024, Turnitin richiederà un pagamento per i suoi servizi di rilevamento della scrittura AI.
Il rilevamento AI può analizzare documenti precedentemente inviati?
Sì, è possibile verificare la presenza di scrittura AI in elaborati già consegnati, a condizione che vengano reinviati per l'analisi e che il rilevamento AI sia attivo nel tuo account.
Quali lingue supporta Turnitin?
Attualmente, il sistema di rilevamento AI di Turnitin supporta documenti in inglese e, da settembre 2024, in spagnolo per i testi più lunghi. Tuttavia, la funzionalità di rilevamento della parafrasi AI è disponibile solo per i testi in inglese.
Come nascondere il rapporto AI?
Gli amministratori possono disabilitare la funzione di rilevamento AI nelle impostazioni dell'account Turnitin, nascondendo così il rapporto AI dai risultati.
La tecnologia di rilevamento AI si evolverà nel tempo?
Sì, con il continuo sviluppo e perfezionamento del modello di Turnitin, le capacità di rilevamento e, di conseguenza, le percentuali di AI potrebbero variare. Tuttavia, la percentuale di AI per un determinato documento resterà invariata a meno che non venga reinviato per l'elaborazione.
Turnitin contrassegna il testo modificato da Grammarly come AI?
In genere, il sistema di rilevamento di Turnitin non identifica come generato dall'AI il testo corretto con gli strumenti base di ortografia, grammatica e punteggiatura di Grammarly. Tuttavia, i contenuti creati con le funzionalità generative basate sull'AI di Grammarly (come la stesura e la parafrasi) saranno probabilmente identificati come tali.
Conclusione
Per riassumere, Turnitin offre solide capacità di rilevamento dei contenuti generati dall'intelligenza artificiale, fornendo strumenti essenziali per sostenere l'integrità accademica.
Mentre gli insegnanti possono approfondire tutti i dettagli con i report, gli studenti potrebbero aver bisogno di cercare altre fonti per ottenere le stesse informazioni.
Ricorda che l'efficacia di Turnitin dipende molto da come viene utilizzato nella tua scuola. Spero tu abbia trovato utile questa analisi. Grazie per averci seguito!