TurnitinはAIを検出？ - スコア、仕組み、報告
こんにちは！Turnitinが論文中のAI生成コンテンツをどのようにチェックしているか、気になったことはありませんか？
レポートに頭を悩ませている学生さんも、公平な評価を目指す先生も、Turnitinの機能を理解しておくことは大切です。
この記事では、Turnitinの仕組みや、AI検出の精度、そして検出結果が誰に公開されるのかを解説します。それでは、詳しく見ていきましょう！
TurnitinはAIを検出しますか？
はい、TurnitinはAI生成コンテンツを検出し、レポートを作成できます。この機能は2023年4月4日からTurnitinのサービスに組み込まれました。これにより、プラットフォームに提出されたすべての課題は、盗用チェックに加えて、AIによって生成されたコンテンツであるかのスクリーニングも行われるようになりました。
AI検出レポートは誰が見られる？
AI検出レポートの表示設定は、教育機関や教員がこの機能を有効にしているかによって異なります。通常、AIによって生成された可能性を示すAIスコアを含むレポートは、学生には公開されません。これらのレポートにアクセスできるのは通常、教員のみであり、学術的な誠実性に関する追加の指導や議論のために、レポートの情報を使用するかどうかを判断できます。
先生がTurnitinで自分のレポートをどのようにチェックしているのか気になりますか？
ご心配なく。レポートの内容を詳しく知りたい場合は、解決策があります。「T-detector」のようなサービスがお手伝いします！このサービスは、Turnitinの公式データを利用して、先生が実際に何を見ているのかを正確に把握できるようにします。類似度とAI検出の結果を含むレポートを入手でき、最終提出前に自分のスコアを深く理解し、課題を改善したい学生にとって非常に役立つツールです。
Turnitin AI検出機能へのアクセス権を持つユーザー
AIライティング検出機能は、Turnitin Originalityライセンスをお持ちのユーザーのみがご利用いただけます。Turnitin Similarity、Feedback Studio、Originality Checkをご利用中のお客様は、Turnitinアカウントマネージャーまでアクセスオプションについてお問い合わせください。iThenticate 2.0をご利用のお客様も、アカウントマネージャーにご連絡いただくことで、この機能を追加できます。
2024年1月1日以降、AIライティング検出機能はOriginalityライセンスでのみご利用いただけるようになります。このライセンスをお持ちでない場合、過去の提出物を含め、AIスコアとレポートへのアクセスはできなくなります。ただし、Originalityアドオンをご契約の教育機関は、すべての提出物に関するAIデータを表示可能です。
AI検出機能は、Moodle、Blackboard、CanvasなどのLMSプラットフォームのSimilarity Reports内でご利用いただけます。AIの詳細については、完全なレポートをご確認ください。
Turnitin AIインジケーターの仕組み
概要
論文がTurnitinに提出されると、システムはまずテキストを約5〜10文のまとまりに分割し、分析を開始します。
各文が文脈の中で適切に分析されるよう、これらのまとまりは意図的に重複して設定されています。TurnitinのAI検出モデルは、各文に対して0から1のスコアを付与します。0は人間が書いた可能性が高く、1はAIが生成した可能性が高いことを示します。
文書全体でのこれらのスコアの平均値を算出することで、テキストがAIによって生成された可能性の全体的な予測を提示します。
検出可能なAIモデル
現在、TurnitinのAI検出機能は以下のモデルに対応しています。
GPT-3とGPT-3.5: Turnitinが最初に対象としたモデルで、ChatGPTなどのテクノロジーを基盤とするツールによって生成されたテキストを識別します。
GPT-4: 広範なテストの結果、TurnitinのシステムはGPT-4（ChatGPT Plus）によって生成されたテキストを高頻度で検出できることを確認しました。
拡張計画: Turnitinは、大規模言語モデル（LLM）の進化に対応するため、GPT-4oやLLaMAなどのモデルを検出機能に追加する作業を積極的に進めています。
検出機能
TurnitinのAI検出器は、以下のコンテンツを特定するように設計されています。
AI生成コンテンツ: AIによって完全に生成されたテキストです。
AIによる言い換えコンテンツ: AIによって生成されたテキストを、Quillbot、Grammarly、Scribbrなどのツールで言い換えたものです。これにより、検出を逃れるためにわずかに変更されたテキストを検出する能力が向上します。
指標とレポート
TurnitinのAIライティングレポートでは、AIの関与度合いを色分けで表示し、教育者が結果を効果的に解釈できるようにします。
Turnitinのモデルは、98%以上の精度でAI生成コンテンツを特定できるように調整されています。この厳格な基準により、誤検出を最小限に抑えることができますが、AIで作成されたテキストの最大15%は検出されない可能性があるとされています。
LMSとの統合
TurnitinのAI検出機能は、類似性レポートを通じてMoodle、Blackboard、Canvasなどの学習管理システム（LMS）に統合されています。ただし、AIライティングの指標はLMSインターフェースに直接表示されません。AIスコアを確認するには、詳細レポートにアクセスする必要があります。
バイアスに関する考慮事項
Turnitinは、第二言語学習者や専門性の高い分野に対するバイアスの可能性を認識し、公平性を重視したAI検出モデルを設計しました。様々な学術的状況において公平に適用されるよう、モデル開発においては過小評価されているグループへの不利益を最小限に抑える必要性を考慮しています。
Turnitin AIレポート：スコア、ビジュアルインジケーター、割合
Turnitin類似性レポートのAIレポートセクションでは、以下の2つのスコアが詳しく説明されています。
AI生成テキストのスコア：大規模言語モデル（LLM）などのAIツールによって生成された可能性が高いテキストを特定します。
AIによる言い換えテキストのスコア：QuillbotなどのAIによる言い換えツールで修正されたと思われる、AI生成テキストを識別します。
レポート内のビジュアルインジケーター
Turnitinのレポートでは、AIの関与の種類に応じて異なる色が使用されます。
シアンのハイライト：AIによって生成された可能性が高いテキストを示します。
紫のハイライト：AIによって生成され、さらにAIによって言い換えられたテキストを示します。
青色（0～100%）：提出されたテキストのうち、AIによって生成された可能性が高い部分の割合を示します（特に文章）。
灰色（割合表示なし）：ファイル形式やサイズが原因で、AI検出処理ができなかったことを示します。
エラー（！）：処理に失敗したことを示します。ファイル形式の要件を満たしている場合は、再試行が必要です。
誤検出を防ぐため、AI検出スコアが20%未満の場合は慎重に扱われます。
0%～19%（*％）：この範囲の低い割合は「*％」と表示され、レポートでは具体的な数値として扱われません。これは、人間が書いたテキストをAI生成と誤認する可能性を最小限に抑えるための措置です。
TurnitinにおけるAIの使用許容範囲
Turnitinでは、AI生成コンテンツの最大許容範囲は明確に定められていません。Turnitinは、AIが使用された箇所を特定し、注意を促すのみです。AI生成コンテンツの利用可否は、各教育機関の学術規定によって異なるため、学生と教員はそれぞれの所属機関のガイドラインを確認し、学術的な成果物におけるAIの適切な使用法を理解する必要があります。
類似性スコアとの違い
類似性スコア：Turnitinのデータベースにある他のソースと一致するテキストの割合を測定します。
AI検出率：テキストがAIツールによって生成された可能性を個別に評価します。類似性スコアとは独立して機能し、AIによって生成されたコンテンツのみに焦点を当てます。
TurnitinのAI検出における誤判定への対処
TurnitinのAIライティング検出は高精度を目指していますが、特に構造的な変化が少ない、または大幅な言い換えが多いテキストの場合、誤って判断することがあります。提出物が誤ってフラグ付けされたと思われる場合は、以下の手順に従ってください：
フィードバックを提供する：AIライティングレポートのフィードバックボタンを使用して、Turnitinに通知してください。これにより、時間の経過とともに精度が向上します。
文脈を踏まえたレビュー：長いドキュメントの場合は、AI生成された文章とオリジナルの文章の組み合わせを考慮してください。短いテキストでは、システムの「オール・オア・ナッシング」のアプローチにより、混在したコンテンツが完全にAI生成されたものとしてフラグ付けされる場合があります。
教育者の裁量：教育者は、AI検出の結果を他の評価や学生との議論と合わせて活用し、AIと人間の文章を区別する上でのモデルの限界を理解した上で、学生の作品を公平に評価することが重要です。
よくある質問
TurnitinのAI検出は無料ですか？
いいえ、Turnitinは2024年1月からAIライティング検出サービスの料金を請求します。
AI検出は過去に提出された論文も分析できますか？
はい、再提出の際にAI検出が有効になっていれば、過去に提出された課題についてもAIライティングの検出が可能です。
Turnitinはどの言語に対応していますか？
TurnitinのAI検出は現在、英語のドキュメントに対応しており、2024年9月からは長文コンテンツにおいてスペイン語にも対応予定です。ただし、AIによる言い換えの検出機能は、英語の提出物のみが対象です。
AIレポートを非表示にするには？
管理者はTurnitinのアカウント設定でAI検出機能を無効にすることで、結果にAIレポートが表示されないようにできます。
AI検出技術は今後も進化しますか？
はい、Turnitinがモデルの開発と改良を続けるにつれて、検出機能、ひいてはAI検出率が変化する可能性があります。ただし、特定のドキュメントのAI検出率は、再提出されない限り変わりません。
TurnitinはGrammarlyで修正されたテキストをAIと判断しますか？
Turnitinの検出器は通常、Grammarlyの基本的なスペル、文法、句読点修正ツールで修正されたテキストをAI生成と判断することはありません。しかし、GrammarlyのAI機能（文章作成や言い換えなど）を使って生成されたコンテンツは、AI生成と識別される可能性が高いです。
結論
まとめると、TurnitinはAI生成コンテンツの検出に優れた機能を発揮し、学術的誠実性を保つための重要なツールとなります。
先生方はレポートで詳細を確認できますが、学生が同じ情報を得るには別の情報源が必要となるでしょう。
Turnitinの効果は、学校がどのように活用するかに左右されることを覚えておいてください。今回の解説が参考になれば幸いです。ご視聴ありがとうございました！