Paper's Program Note

英作文の添削でAPIを使ってみた。
openaiは、gpt-3.5-turbe
clauseは、haiku
Geminiは、1.0-pro

上位のAIにすると、レスポンスが遅くで今回はパスとしました。

ほぼ速度は、同じ。どれも2-5秒くらいで返ってくる。
若干、claudeが1秒くらい体感で遅い気がしたが、全然問題ない。
gpt-4-xxxxにしてみると、30秒程度待つ必要があるので、実用的ではなかったです。

で、精度ですが、
claudeの勝ちです。
gpt-3.5とGemini 1.0は、おかしな添削文を返してきます。間違いの指摘も変だし。かなり変でした。
claudeは、その点、そういう間違いが今のところありません。
まだ、テスト開始まもないので、今後は出てくるかもしれませんが。

あと、今回は全部、JavascriptでAPI通信をしたのですが、
実装はclaudeのAPIだけがcros blockになり、面倒でした。
結局、中間にphpでのcurlでのAPI送受信部分を入れて解決しました。
あとは、claudeが、anthropic-versionという、どうでも良さそうなデータが必須でした。

でも、claudeの性能の良さを感じました。API使うのは、課金が必要でしたが。
gpt-3.5系で動かしている部分は、haikuに乗り換えしてもいいかもですね。

こちらの方の価格比較を見ると
https://note.com/mega_gorilla/n/n298af1f3563b#7f2c8c88-f2aa-4300-a733-74d45342412d

gpt-3.5からhaikuへの乗り換えで30%くらい安くなりそうですね。
sonnetの性能がgpt-4最新版と同等なら、これも乗り換えで安くなりそう。
claude のoutputのトークン数も多いのもいいですね。