Databricks、エージェント向けのSpark宣言型パイプラインを提唱

Databricksは、AIエージェントが生産用データパイプライン（SDP）の70%以上を記述するようになっていると述べている。これを受け、同社はエージェント向けに構築されたSpark宣言型パイプラインの重要性を提唱した。

528件のビルドを用いたベンチマークによると、宣言型によるパイプライン作成は、実行前に構造的な欠陥を検知できるという。同社は、測定したビルドにおいて、手続き型のPySparkと比較してクラスター時間を約34倍削減できると主張している。