外部LLMに原稿を送る前に、ローカルでマスキングする校正パイプラインを作った

未公開の記事原稿を外部のAIに校正してもらうために、送る前にローカルでマスキングし、戻ってきたらローカルで元に戻す仕組みが作成されました。使用されたのは SB Intuitions の Sarashina3 で、モデルは sarashina3-mini です。

原稿をそのまま送らなかった理由は、APIの利用条件にあります。利用条件には、送信した入力と生成結果がサービス提供や改善のために使用される可能性があると記載されており、これには学習が含まれると読み取れる内容でした。校正対象となる未公開の原稿には、参照用のURLや識別子のような文字列が含まれているため、それらをそのまま外部に渡すことを避ける目的でこの仕組みが作られました。