構造を保ちながらトークン効率化
TOON は繰り返し登場する JSON キーを表形式に折り畳みます。トークンが減れば API コストも下がり、応答は早くなり、狭いコンテキストにも収まります。 バイナリ形式と違い TOON は人間が読めるため、プロンプトエンジニアは LLM と同じビューでデバッグできます。
TOON が真価を発揮するケース
- カタログ型の配列（商品フィード、モデレーションキュー、テレメトリ行）
- 文章と構造化された例外が混在するガイドライン
- キー重複が多いマルチターン会話ログ
- セキュリティ/コンプライアンス向けのストリーミング分析
インフラ・セキュリティ部門の運用メリット
レッドチームやポリシー担当は一行ずつ確認します。TOON はインデントを保ち、配列をテーブル表示し、JSON 特有の引用符ノイズを排除します。 lossless なので内部は JSON、外部は TOON といった構成が可能で、コンバーターが双方向を常に検証します。
実際の TOON vs JSON
JSON (92 トークン)
{
"incidents": [
{"id": 42, "severity": "medium", "tag": "prompt_injection"},
{"id": 43, "severity": "low", "tag": "spam"}
]
}変換後の TOON
TOON (55 トークン)
incidents[2]{id,severity,tag}:
42,medium,prompt_injection
43,low,spamロールアウトチェックリスト
- /api/convert を内部サービスアカウントに付与
- JSON 構造をミラーし、CI で出力を比較
- /api/validate で送信データを検証
- TOON ビューをポリシー・サポート・Ops と共有
まとめ
TOON を導入するとコンテキストウィンドウを 30〜60 % 取り戻し、チャットレイテンシを改善できます。圧縮と可読性のバランスが取れた解で、今すぐ使えます。