Together AI、AI推論の継続的コンパイルを行うTogether Compilerを発表

Together AIは、AI推論のための継続的コンパイルを実現するTogether Compilerを発表した。このツールは、エージェントと永続的なエンジンを活用する。

同社は、Together Compilerを使用することで、トラフィックの変化に応じてオープンウェイトモデルを24時間以内に最適化し、スループットを最大3.7倍向上させることができると主張している。