TurnitinはAIを検出するか？ - スコア、仕組み、報告
こんにちは！Turnitinがあなたの論文中のAI生成コンテンツをどのようにチェックしているか、考えたことはありますか?
レポートに頭を悩ませる学生であっても、公平を守ろうとする教師であっても、Turnitinが持つツールの仕組みを理解することはとても大切です.
では、この洗練されたシステムがどのように動作し、何が見つかるのか、そして誰がどの情報にアクセスできるのか、一緒に見ていきましょう。さあ、始めましょう!
TurnitinはAIを検出できますか？
はい、TurnitinはAIによって生成されたコンテンツを検出し、レポートを作成することが可能です。この機能は2023年4月4日以降、Turnitinのサービスに組み込まれており、プラットフォーム経由で提出されたすべての課題は、盗作チェックだけでなくAI生成コンテンツの確認も行われます.
Who Can See the AI Detection Report?
AI検出レポートの閲覧は、学校や講師がこの機能を有効にしているかどうかによって決まります。通常、コンテンツがAI生成である可能性を示すAIスコアを含むレポートは学生に表示されず、講師のみがアクセスでき、その情報を元に学術上の誠実性に関する追加の対応や議論に活用されます。
Curious about what your teacher sees when they check your paper on Turnitin?
ご安心ください。もし先生があなたの論文をどのように評価しているのか知りたい場合、解決策があります。T-detectorのようなサービスを利用すれば、公式のTurnitinデータを元に、先生が実際に確認している内容をそのまま把握できます。類似性のパーセンテージとAI検出結果の両方が含まれたレポートを受け取ることができるため、スコアを詳しく理解し、最終提出前に課題をしっかり調整するのに非常に役立ちます。
Turnitin AI Detectorの利用対象は？
Turnitin Originalityライセンスを保持しているユーザーのみが、AIによる文章作成検出にアクセスできます。もしTurnitin Similarity、Feedback Studio、またはOriginality Checkをご利用の場合は、アクセス方法についてTurnitinのアカウントマネージャーとご相談ください。iThenticate 2.0をご利用のユーザーも、アカウントマネージャーに問い合わせることでこの機能を追加することが可能です。
2024年1月1日以降、AIによる文章作成検出はOriginalityライセンスを通じてのみ提供されるため、このライセンスがなければ、過去の提出物であってもAIスコアやレポートへのアクセスはできなくなります。ただし、Originalityアドオンを導入している機関は、すべての提出物のAIデータを閲覧することができます。
また、AI検出はMoodle、Blackboard、CanvasなどのLMSプラットフォーム上のSimilarity Reports内で利用可能ですが、AIの詳細を確認するには完全なレポートへのアクセスが必要です。
Turnitin AI 指標はどのように機能するか
概要
Turnitinに論文が提出されると、システムはテキストを約5～10文ごとのブロックに分割して解析を開始します。
これらのブロックは、各文がより広い文脈で検証されるよう意図的に重複させています。TurnitinのAI検出モデルは、各文を0から1のスケールで評価し、0は人間が書いた可能性が高いことを示し、1はAI生成である可能性を示唆します。
文書全体のスコアの平均が算出され、テキストがどの程度AIによって生成されたかの全体的な予測が行われます。
検出可能なAIモデル
TurnitinのAI検出機能には、現在以下のモデルが含まれています:
GPT-3 および GPT-3.5: これらはTurnitinが最初に注目したモデルで、ChatGPTなどこれらの技術に基づくツールで生成されたテキストを認識します。
GPT-4: 広範なテストの結果、TurnitinはシステムがGPT-4、別名ChatGPT Plusによって生成されたテキストをしばしば検出できることを確認しました。
拡張計画: Turnitinは、GPT-4oやLLaMAなど追加のモデルも検出対象に含めるための取り組みを進めており、これは大規模言語モデル（LLM）の継続的な進化と開発を反映しています。
検出能力
TurnitinのAI検出ツールは、特に以下の点を識別するために設計されています:
AI生成コンテンツ: これは、テキストが完全にAIによって生成された場合を指します。
AIによるパラフレーズコンテンツ: これは、初めにAIで生成されたテキストが、Quillbot、Grammarlyのパラフレーズツール、Scribbrなどで変更された場合を含みます。この機能により、検出回避のために微妙に改変されたテキストでも捉えやすくなります。
指標と報告
AIライティングレポートでは、Turnitinは様々なAIの関与を色分けして表示し、講師が結果を直感的に解釈できるよう支援します。
Turnitinのモデルは高精度を維持するよう調整され、98％以上の確信がある場合にのみ、コンテンツをAI生成と判断します。この厳格な基準により、偽陽性の可能性が最小限に抑えられますが、AIによって作成されたテキストの最大15％が検出されない可能性もあります。
LMS統合
TurnitinのAI検出機能は、Moodle、Blackboard、Canvasなどの学習管理システム（LMS）において、Similarity Reportを通じて統合されています。ただし、特定のAIライティング指標はLMSのインターフェースに直接組み込まれておらず、ユーザーは詳細レポートにアクセスしてAIスコアを確認する必要があります。
バイアスに関する考慮事項
特に第二言語学習者やあまり一般的でない学問分野に対するバイアスの可能性を踏まえ、TurnitinはAI検出モデルを公平性を重視して設計しました。このモデルの開発では、過小評価されがちなグループに不利益が生じないよう配慮され、さまざまな学術環境で平等に利用できることを目指しています。
ターンイティンAIレポート：スコア、視覚的指標および割合
ターンイティンの類似性レポート内にあるAIレポートセクションでは、2種類のスコアが示されています:
AI生成テキスト: このスコアは、特に大規模言語モデル(LLM)などのAIツールから作成された可能性のあるテキストを示しています.
AI言い換えテキスト: このスコアは、AIによって生成された後、クイルボットなどのツールで言い換えられたテキストを特定します.
レポート内の視覚的指標
ターンイティンでは、AIの関与の種類に応じて、レポート内でさまざまな色を使い分けています:
シアンハイライト: AI生成の可能性が高いテキストを示します.
パープルハイライト: AI生成とAIによる言い換えの両方が行われたテキストを示します.
パーセンテージ付きブルー (0-100): 提出されたテキストの中で、特に散文部分において、AIが生成したと考えられる割合を表示します.
グレー (パーセンテージなし): ファイル形式やサイズの制限により、AI検出が行えないことを示します.
エラー (!): 処理に失敗したことを示し、該当する場合は再試行または追加の対処が必要であることを意味します.
誤検知を防ぐため、AI検出スコアが20%未満の場合は特に注意して扱われます:
0%-19% (*%): これらの低い数値はアスタリスクとパーセンテージ記号(*%)で表示され、レポート上では具体的な数値は示されません。これは、人間が書いたテキストを誤ってAI生成と判断しないための措置です.
ターンイティンで許されるAIの利用量は？
ターンイティンは、AI生成コンテンツの上限を定めているのではなく、重要なAIの関与があった場合にこれを検出して警告するシステムです。実際にAI生成コンテンツが受け入れられるかどうかは、それぞれの教育機関の学術的誠実性に関するガイドラインによるため、学生や教職員は自分たちの規定を確認することが必要です.
類似性スコアとの違い
類似性スコア: ターンイティンの大規模なデータベース内で一致するテキストの割合を測定します.
AI検出割合: テキスト全体の中で、AIツールにより生成された可能性のある部分が占める割合を、独自に評価します。このスコアは、類似性スコアとは別に、あくまでAI生成コンテンツにのみ焦点を当てています.
TurnitinのAI検出における誤判定への対応
TurnitinのAI文章検出は高い精度を目指していますが、特に文章構造にあまり変化がなかったり、大きく言い換えられた文章では誤って判定されることがあります。もし提出物が誤ってフラグ付けされたと感じた場合は、以下の対応をお試しください:
フィードバックの提供: AI文章レポート内のフィードバックボタンを使い、Turnitinに知らせてください。これにより、システムの精度が徐々に向上する助けとなります。
文脈を考慮した見直し: 長文の場合は、AI生成部分とオリジナルの文章の割合を検討してください。短文の場合、システムが「全か無か」の方式を取るため、混在した内容でも全体がAI生成と判断されることがあります。
教育者の裁量: 教育者は、AI検出の結果だけでなく、他の評価や学生との対話も踏まえて、公正な評価を行う必要があります。また、AIと人間の文章を区別する際のシステムの限界も認識することが重要です。
FAQ
TurnitinのAI検出機能は無料ですか？
いいえ、Turnitinは2024年1月からAI文章検出サービスに対して料金を請求し始めます。
過去に提出した論文もAI検出で解析できますか？
はい、以前提出された課題を再度送信し、かつアカウントでAI検出が有効になっていれば、過去の文章も解析することができます。
Turnitinはどの言語に対応していますか？
TurnitinのAI検出は現在、英語の文書に対応しており、2024年9月以降は長文コンテンツ向けにスペイン語もサポートします。ただし、AIによるパラフレーズ検出は英語の提出物のみで利用可能です。
AIレポートを非表示にする方法は？
管理者はTurnitinのアカウント設定からAI検出機能を無効にすることで、結果画面からAIレポートを非表示にできます。
AI検出技術は今後進化しますか？
はい、Turnitinがモデルの開発と改良を続けるにつれて、検出能力やAIの割合が変わる可能性があります。ただし、特定の文書については再送信して解析を行わない限り、そのAI割合は固定されます。
TurnitinはGrammarlyで修正されたテキストをAI生成と見なしますか？
Turnitinの検出システムは、通常はGrammarlyの基本的なスペル、文法、句読点の修正によるテキストをAI生成と判断しません。しかし、GrammarlyのAIを活用した生成機能（ドラフト作成やパラフレーズなど）で作成された内容は、AI生成と認識される可能性が高いです。
結論
まとめると、Turnitin は AI生成のコンテンツを検出する強力な機能を持ち、学術的誠実性を守るための重要なツールとして機能します。
講師はレポートを通じて詳細を確認できる一方で、学生は同じ情報を得るために別の手段を探さなければならないかもしれません。
覚えておいてください。Turnitin の実効性は、学校がどのように活用するかに大きく左右されます。この解説がお役に立てれば幸いです―ご視聴ありがとうございました！