NISHIO KEI5月7日4 分BigQueryのベクトルサーチを試してみる1.はじめに 最近提供が始まったBigQueryのベクトル検索機能を試しました。 pineconeより良い点として、metadataのテキスト量に制限が無いのでまとめて放り込んでおけます。 2.BigQueryのベクトル検索 この記事を参照。...
NISHIO KEI4月24日2 分開放特許DBを俯瞰してみる1.はじめに 開放特許DBのバルクデータがダウンロードできるようになっていたので、どんなものがあるのか見てみました。 結構いろんな分野にまんべんなく出てるのですね。 2.処理の流れ ・csvデータをよみこみ。加工。 import pandas as pd df =...
NISHIO KEI4月18日3 分課題解決手段の抽出をgeminiとGPT4で切り替える1.はじめに Langchainをかませれば、複数のLLMを使った課題解決手段の抽出が便利です。 比較して良さそうな方をとるのもいいと思いました。 2.課題解決手段の抽出 ・前にLangchain taggingで課題解決手段の抽出を試しましたが、LangChainはその後...
NISHIO KEI4月9日1 分埋め込み表現の性能比較(前半)1.はじめに テキスト埋め込み表現は、意味的な関連性の抽出、機械学習モデルの学習、テキスト生成などに使われる重要な機能です。 生成AI関連のサービスだとchatmodelなどと共に、ほぼ必ずセットでついてきます。 最近色々とテキストの埋め込み表現が出てきているので、特許文章...