中年engineerの独り言 - crumbjp

LinuxとApacheの憂鬱

2021-05-01から1ヶ月間の記事一覧

Faiss解説シリーズ(第三回)パフォーマンス

crumbjp.hateblo.jp インデックス毎の性能と精度のバランスを取る上で考慮すべき要素 メモリー使用量 Faissインデックスは基本的にオンメモリー上で処理を行う。 すべてのデータが何らかの形でメモリー上に展開できなければならない。 これが最優先事項 Flat…

Faiss解説シリーズ(第二回)ハマりポイント集

crumbjp.hateblo.jp Faissインデックス毎の制限について サンプルコード FlatインデックスはID管理出来ない func AddWithIDsDontWorkOnFlatIndex() { fmt.Println("*** AddWithIDsDontWorkOnFlatIndex ") index, _ := faiss.IndexFactory(2, "Flat", faiss.M…

Faiss解説シリーズ(第一回)基本編

最近、根詰めて触っているので詳しくなって来たついでに解説記事を書いてみた Faissとは Facebookが開発しているC++NNS(Nearest neighbor search)エンジン 手に入るライブラリの中では最高峰の速度 高次元ベクトルで問題になりがちなメモリー問題に対応でき…