tiktoken さわった - バーチャルの匂いでトんじゃって大変さ

ChatGPT API使用料の見積もりが欲しかったので、

トークン数を出してくれるOpenAIの公式ライブラリ

tiktoken を触りました。

自分でいじったところ、うまくいかなかったで

さくりとどなたかが作ったブツを拝借。

使用手順は以下。Mac M1です

1. clone

2. VSCode にてdockerfile を build

3. 手順に書かれているdocker run を実行

4. iTerm から手順に書かれているcurlコマンド

4でうまくいかなかった（クオーテーションがえらっていて、dquote>プロンプトが出る）

ので、ctrl+c で curl を中止した後、ChatGPT GUI で聞いた。

curl と、「その後　dquote>が出る」と聞いたら、

正しい curl コマンドを出してくれた。

サンプルに載ってる curl は、なんか本文の「'」のエスケープが甘い？なんかよくわかんないんだけど（これもChatGPTに聞きます、いつか）

そしたら正しくCurlのレスポンスが返ってきた。

トークン数だけぺろっと出る。文字数は出ない。

次に、目的の日本語ドキュメントを読み込ませる。

また dquote> が出て、えらったので、再度

ChatGPTにcurlコマンドとdquote>が出た旨を聞く。

改行をエスケープもなしにしていたので、

改行を取り除いたcurlコマンドを返してくれた。

（こういう雑作業をやってくれるという用途もあるね。置換とかもできそう。）

そして、ついに本命の文字列の判定！

出た〜！

そして、GPT-3.5 は $0.0..2ということで、400トークンは20円かかんないくらいかな〜みたいな雑な見積もりをした。

それでも、まあお金かからない方法がいいよね、ってなって、いろいろ（Macで廉価版を動かしてみるとか、無料でできるサービスを酷使するとか...）

ちっちゃい仕事ですが、まさにChatGPTの強みをど真ん中に攻める仕事ができていて

人生は摩訶不思議アドベンチャーですね。