LLMへのアプローチの変化 LLMを活用するための取り組みは、大きく3段階で変化してきています。 プロンプトエンジニアリング は、LLMへの指示をどのように書くかを工夫する段階です。出力品質がプロンプトの書き方に大きく依存することが分かり、多くの知見が蓄積されました。 コンテキストエンジニアリング は、LLMに渡す情報（コンテキスト）の設計に焦点を当てます。RAGに代表されるように、適切な情報をどう取得・整形してLLMに渡すかが重要になってきました。 そして近年注目されているのが ハーネスエンジニアリング です。LLM自体の性能に頼るのではなく、LLMを取り囲むシステム全体、複数のAPIコール、外部データソースへのアクセス、結果の統合と後処理を設計することで、 単体のLLMでは達成できないタスクを実現 する考え方です。 今回公開した特許分類APIは、このハーネスエンジニアリングの一環として位置付けられます。特許調査を支援するLLMシステムのコンポーネントとして、特許分類体系の意味検索・コード解決・検索式生成を担うAPIを公開しました。 特許分類APIの概要...

１．はじめに この論文 に掲載されてたもの。特許庁の中の人が書いたものです。 表にしただけですが、クラウドモデルがかなり性能良いというのが見えます。 ２．比較表 タスク モデル区分 使用モデル 主な結果・評価 評価方法 機械分類付与タスク エンコーダモデル 特許BERT,...

1.はじめに Playwright とは、ブラウザ操作を自動化するライブラリ。 Playwrightは、Microsoftが開発したWeb UI自動化テストフレームワークです。Playwrightは、クロスブラウザ対応や高いパフォーマンスが特徴です。Chromium、Fir...