サステナブルな事業変革を促進するAIソリューションの開発会社、株式会社Recursive（本社：東京都渋谷区、代表取締役：ティアゴ・ラマル、日本語名：リカーシブ、以下「Recursive」）は、RAG（検索拡張生成：Retrieval-augmented generation、※1）システム向けにオープンソース型のベンチマーク用ツールパッケージ「Flow Benchmark Tools」（フロー・ベンチマーク・ツール）を公開したことをお知らせいたします。Flow Benchmark Toolsは、RAGシステムの評価において業界標準となることを目指し、文書特有の情報検索能力とエンドツーエンドの文書処理能力に重点を置き、実社会における実際のシナリオを反映したRAGシステムの評価と最適化を行えるように設計されています。RecursiveのFlow Benchmark ToolsはオープンソースコードとしてGitHub（ギットハブ）に公開されており、世界中のエンジニアにご活用いただけます。
【背景と、RAGシステムのベンチマークにおける現状の課題】
昨今、さまざまな業界における組織で、ビジネスに変革をもたらすソリューションとしてRAGがますます注目されている一方、市場に出回っているあらゆるRAGパイプライン（※2）をベンチマークするうえでは、標準化された包括的な方法はありません。信頼をおけるベンチマークがなければ、RAGの導入を検討する組織は、自社特有のユースケースに最も効果的なRAGのツールを特定し、選択することが困難になるという深刻な課題に直面する可能性があります。またこのことは、RAGの導入が遅れるだけでなく、効果が限定的なソリューションを導入するなど、貴重なリソースを浪費するリスクも増大しかねません。
加えて、非英語の言語のRAGシステムをベンチマークする手法は不足しており、その中でも日本語の性能を評価できるものは特に限られています。このような背景から、特に日本の事業会社にとって、自社特有の言語的および文化的ニーズに適したRAGツールを効果的に評価し導入することは、一層困難な状況となっています。
【Flow Benchmark Toolsの主な特長】
Flow Benchmark Toolsは、セマンティック検索（意味的検索）、クエリ生成、そしてLLM（大規模言語モデル）に基づいた回答生成など、RAGパイプライン特有の複雑性に対応した機能を搭載しています。そのため、微妙なニュアンスを精確に捉えることもできる、包括的な評価を提供できるツールです。
本ツールの主な特徴は、次の通りです：
【ベンチマークの検証結果】
Recursiveは公開に先駆け、Flow Benchmark Toolsを使用したベンチマークの検証を行い、LLMを基にRecursiveが独自に開発した完全にカスタマイズが可能な生成AIアシスタント「FindFlow」（ファインドフロー）を、市場に出ている３つの最先端の生成AIソリューションと比較しました。検証は、徹底的かつ公平に行い、実社会における実際のシナリオを反映するように設計され、2024年6月7日から7月19日に実施されました。ベンチマークでは、RAGを用いた質問応答と、文書全体の理解という、パイプラインにおいて2つの重要な領域における性能を評価しました。
また、ベンチマークの過程においては、日本政府が公表しているあらゆる文書と、難易度の高い質問をデータセットとして利用しました。
その結果、Recursiveが開発したRAGアプリケーションであるFindFlowの優位性が明らかになりました：
この検証結果は、複雑で膨大な量のドキュメントがあるシナリオに対し、優れた対応力をもつRAG技術を開発するという、Recursiveのコミットメントを示すものでもあります。
Recursiveの共同創業者 兼 CEOであるティアゴ・ラマルは、次のように述べています。「RecursiveのFlow Benchmark Toolsは、RAGシステムの評価において大きな進展をもたらすと考えています。本ツールをオープンソース化することで、全世界におけるAI業界のコミュニティの皆さまと協力し、AI主導の文書分析と検索における可能性の限界をさらに押し広げていけることを期待しています。」
Recursiveは今後、AI業界のコミュニティからのフィードバックも取り入れるなどして、他の言語も取り入れたり、手法なども改良しながら、本ツールを継続的に改善・拡張していく予定です。また、Recursiveは引き続き、サステナブルな事業変革の促進のみならず、RAG技術の発展と、全世界におけるAIコミュニティをエンパワーすることに対するコミットメントを追求してまいります。
※1 RAG（検索拡張生成：Retrieval-augmented generation ）：外部のナレッジベースから事実を検索・取得し、それを基にして大規模言語モデル（LLM）が最も正確で最新の情報に基づいた生成を行うためのAIフレームワーク。これにより、ユーザーもLLMの生成プロセスについての洞察を得ることが可能。
※2 RAGパイプライン：RAGを実行するための、コーディングの一部。
【参考資料】
【株式会社Recursiveについて】
持続可能な未来を構築するための AI ソリューションを提供するサービスプロバイダーです。環境、エネルギー、医療、製薬、食品、小売など多岐にわたる業界の知見と高度な技術力、サステナビリティ事業に関する専門知識を組み合わせ、AI のシステム開発やコンサルテーションサービスを提供しています。より良い地球環境や社会を未来の世代に残すために、比類なきプロフェッショナルが世界標準のテクノロジーで新しい社会つくりをリードします。
会社名： 株式会社Recursive （英語名称：Recursive Inc.）
本社所在地：東京都渋谷区渋谷一丁目7番1号 渋谷S-6ビル 6階
設立： 2020年8月
共同創業者：ティアゴ・ラマル / 山田勝俊
事業内容： AIの研究開発およびサステナビリティに関連するソリューションの提供
従業員数： 59名（正社員・業務委託・インターン含む、2024年7月時点）
URL： https://recursiveai.co.jp/
【本件に関するお問い合わせ先】
株式会社Recursive
広報担当：岸本
Email: info@recursiveai.co.jp
電話番号：090-9847-7832 （岸本直通）
Google DeepMindの元シニアリサーチエンジニアによって設立されたRecursiveは、各分野で世界レベルの人材を集め、成果へと繋げています。
