尧图网站建设 
Windows 下编译 pgvector3 个必做前置 HNSW 与 IVFFlat 索引怎么选【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector在 Windows 上给 PostgreSQL 装 pgvector 做向量搜索九成失败都卡在同一处不是代码写错而是编译环境没配对。这篇文章按你实际会卡住的位置来组织——先把 3 个前置条件排掉跑通第一次向量查询数据上来之后再用 HNSW 或 IVFFlat 两种索引把查询压快最后给一套现象 → 根因 → 处理的排查表照着查基本能自救。卡住你的从来不是代码是这 3 个前置条件Windows 编译 pgvector 只认一条路Visual Studio 的 C 工具链 nmake 能指向正确 PostgreSQL 的PGROOT。三个条件缺一个后面怎么折腾都没用。先确认三件套齐了PostgreSQL 13 及以上版本官方安装包默认不含开发头文件也能用因为Makefile.win直接读安装目录、带 C 工作负载的 Visual Studio 2019/2022、Git。确认方式是打开 VS Installer 看使用 C 的桌面开发是否打勾。然后只在一个窗口里操作以管理员身份运行开始菜单里的 x64 Native Tools Command Prompt for VS 2022这个窗口自动配好了cl.exe和正确的库路径普通 CMD 和 PowerShell 都不行。最后把 PGROOT 指对再拉代码。PGROOT 必须指向你实际的 PostgreSQL 版本目录Makefile.win里所有头文件、库文件路径都由它推导set PGROOTC:\Program Files\PostgreSQL\18 cd %TEMP% git clone --branch v0.8.6 https://gitcode.com/GitHub_Trending/pg/pgvector cd pgvectorPGROOT 指向的版本目录不存在、或大小写对不上nmake 会在第一步就报找不到头文件后面排查表的第 1 条就是它。两条 nmake 命令把 vector.dll 装进 PostgreSQL编译和安装各一条命令顺序不能反先all生成vector.dll和带版本号的 SQL 脚本再install把它们复制到 PostgreSQL 的lib和share/extension目录这是Makefile.win里install目标做的事。nmake /F Makefile.winnmake /F Makefile.win install编译期间/O2 /fp:fast会自动生效Makefile.win已写死带 SIMD 的机器上向量距离计算会明显更快。装完不需要重启 PostgreSQL 服务——扩展文件是按库加载的新会话直接生效。验证安装成功只有一行 SQL报vector类型可用就说明文件全部落位CREATE EXTENSION vector;跑通第一次向量检索从建表到 5 行查询先建一张带向量列的小表维度按你嵌入模型的输出定CREATE TABLE items (id bigserial PRIMARY KEY, embedding vector(3)); INSERT INTO items (embedding) VALUES ([1,2,3]), ([4,5,6]);最近邻查询就一个模式ORDER BY 距离运算符 LIMIT n。四个常用运算符各管一种度量运算符度量典型用途-L2 距离通用兜底#负内积相似度排序余弦距离文本嵌入~汉明距离二进制向量注意#返回的是负内积因为 Postgres 索引扫描只支持 ASC 排序——展示相似度时记得乘 -1。余弦相似度同理用1 - (embedding q)换算。SELECT * FROM items ORDER BY embedding [3,1,2] LIMIT 5;此刻没建任何索引走的是精确全表扫描召回率 100%。这个基线很重要后面加近似索引后结果会变你得有个参照知道变差了多少。索引选型数据量决定 HNSW 还是 IVFFlat两者的取舍是刚性的不用纠结太久HNSW 查询更快、召回更高、空表就能建但建得慢、吃内存IVFFlat 建得快、占内存少但要先有数据做 k-means 训练且查询质量更依赖参数。经验法则是数据量大、查询多、机器内存够就上 HNSW数据量百万行以内、内存紧张用 IVFFlat。HNSW 建索引指定距离算子即可m和ef_construction用默认值就行召回不够再调CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops);IVFFlat 的关键在lists百万行以内取行数/1000超过取sqrt(行数)且必须在表里有数据之后再建CREATE INDEX ON items USING ivfflat (embedding vector_l2_ops) WITH (lists 100);建完索引查询时的召回率由两个 GUC 控制默认值都偏保守上生产前手动抬一下SET hnsw.ef_search 100; SET ivfflat.probes 10;建 HNSW 索引时如果日志里出现 hnsw graph no longer fits into maintenance_work_mem 的 NOTICE说明图塞不进内存、构建会变慢把maintenance_work_mem调大即可别大到撑爆服务器。混合搜索与存储压缩查询更准索引更小纯向量检索容易漏掉用户明写的词和 Postgres 自带全文检索拼起来就是混合搜索两路各查一遍用分数融合排序。权重按业务调向量路通常占大头SELECT id, content, ts_rank(to_tsvector(english, content), plainto_tsquery(english, search)) * 0.3 (1 - (embedding [1,2,3]::vector)) * 0.7 AS score FROM items ORDER BY score DESC LIMIT 5;数据量再大两条压缩路线能直接省索引空间。半精度halfvec把存储砍一半1536 维的嵌入最受益二进制量化用表达式索引把向量压成 bit 串做快速初筛再回原向量重排保召回CREATE INDEX ON items USING hnsw ((binary_quantize(embedding)::bit(3)) bit_hamming_ops);SELECT * FROM ( SELECT * FROM items ORDER BY binary_quantize(embedding)::bit(3) ~ binary_quantize([1,-2,3]) LIMIT 20 ) ORDER BY embedding [1,-2,3] LIMIT 5;排查现象、根因、处理现象根因处理PGROOT is not set没在 Native Tools 窗口里set过 PGROOT或换了终端丢了环境变量在 x64 Native Tools 窗口重新set PGROOT...再跑 nmake找不到c.h/postgres.hPGROOT 指向的目录里没有include/server或路径写错确认$(PGROOT)\include\server真实存在链接期报postgres.lib相关错误没装完整 PostgreSQL或 PGROOT 版本与编译器不匹配用官方安装包重装对应版本的 PostgreSQLCREATE EXTENSION vector报对象不存在install没跑成功dll 或 sql 没进位单独重跑nmake /F Makefile.win install查share\extension下有vector--0.8.6.sql加了 HNSW 索引查询反而更慢索引扫描候选数太小默认ef_search40或执行计划走了全表EXPLAIN (ANALYZE, BUFFERS)看是否走 Index Scan调大hnsw.ef_search带 WHERE 的向量查询召回低近似索引是先扫索引再过滤过滤后候选被滤掉大半开SET hnsw.iterative_scan relaxed_order让索引自动多扫或给过滤列建普通索引先跑通CREATE EXTENSION vector并拿到 5 行最近邻结果再根据表行数决定建 HNSW 还是 IVFFlat查询召回不够时先调ef_search/probes别急着换索引。【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Windows 下编译 pgvector：3 个必做前置 + HNSW 与 IVFFlat 索引怎么选
Windows 下编译 pgvector3 个必做前置 HNSW 与 IVFFlat 索引怎么选【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector在 Windows 上给 PostgreSQL 装 pgvector 做向量搜索九成失败都卡在同一处不是代码写错而是编译环境没配对。这篇文章按你实际会卡住的位置来组织——先把 3 个前置条件排掉跑通第一次向量查询数据上来之后再用 HNSW 或 IVFFlat 两种索引把查询压快最后给一套现象 → 根因 → 处理的排查表照着查基本能自救。卡住你的从来不是代码是这 3 个前置条件Windows 编译 pgvector 只认一条路Visual Studio 的 C 工具链 nmake 能指向正确 PostgreSQL 的PGROOT。三个条件缺一个后面怎么折腾都没用。先确认三件套齐了PostgreSQL 13 及以上版本官方安装包默认不含开发头文件也能用因为Makefile.win直接读安装目录、带 C 工作负载的 Visual Studio 2019/2022、Git。确认方式是打开 VS Installer 看使用 C 的桌面开发是否打勾。然后只在一个窗口里操作以管理员身份运行开始菜单里的 x64 Native Tools Command Prompt for VS 2022这个窗口自动配好了cl.exe和正确的库路径普通 CMD 和 PowerShell 都不行。最后把 PGROOT 指对再拉代码。PGROOT 必须指向你实际的 PostgreSQL 版本目录Makefile.win里所有头文件、库文件路径都由它推导set PGROOTC:\Program Files\PostgreSQL\18 cd %TEMP% git clone --branch v0.8.6 https://gitcode.com/GitHub_Trending/pg/pgvector cd pgvectorPGROOT 指向的版本目录不存在、或大小写对不上nmake 会在第一步就报找不到头文件后面排查表的第 1 条就是它。两条 nmake 命令把 vector.dll 装进 PostgreSQL编译和安装各一条命令顺序不能反先all生成vector.dll和带版本号的 SQL 脚本再install把它们复制到 PostgreSQL 的lib和share/extension目录这是Makefile.win里install目标做的事。nmake /F Makefile.winnmake /F Makefile.win install编译期间/O2 /fp:fast会自动生效Makefile.win已写死带 SIMD 的机器上向量距离计算会明显更快。装完不需要重启 PostgreSQL 服务——扩展文件是按库加载的新会话直接生效。验证安装成功只有一行 SQL报vector类型可用就说明文件全部落位CREATE EXTENSION vector;跑通第一次向量检索从建表到 5 行查询先建一张带向量列的小表维度按你嵌入模型的输出定CREATE TABLE items (id bigserial PRIMARY KEY, embedding vector(3)); INSERT INTO items (embedding) VALUES ([1,2,3]), ([4,5,6]);最近邻查询就一个模式ORDER BY 距离运算符 LIMIT n。四个常用运算符各管一种度量运算符度量典型用途-L2 距离通用兜底#负内积相似度排序余弦距离文本嵌入~汉明距离二进制向量注意#返回的是负内积因为 Postgres 索引扫描只支持 ASC 排序——展示相似度时记得乘 -1。余弦相似度同理用1 - (embedding q)换算。SELECT * FROM items ORDER BY embedding [3,1,2] LIMIT 5;此刻没建任何索引走的是精确全表扫描召回率 100%。这个基线很重要后面加近似索引后结果会变你得有个参照知道变差了多少。索引选型数据量决定 HNSW 还是 IVFFlat两者的取舍是刚性的不用纠结太久HNSW 查询更快、召回更高、空表就能建但建得慢、吃内存IVFFlat 建得快、占内存少但要先有数据做 k-means 训练且查询质量更依赖参数。经验法则是数据量大、查询多、机器内存够就上 HNSW数据量百万行以内、内存紧张用 IVFFlat。HNSW 建索引指定距离算子即可m和ef_construction用默认值就行召回不够再调CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops);IVFFlat 的关键在lists百万行以内取行数/1000超过取sqrt(行数)且必须在表里有数据之后再建CREATE INDEX ON items USING ivfflat (embedding vector_l2_ops) WITH (lists 100);建完索引查询时的召回率由两个 GUC 控制默认值都偏保守上生产前手动抬一下SET hnsw.ef_search 100; SET ivfflat.probes 10;建 HNSW 索引时如果日志里出现 hnsw graph no longer fits into maintenance_work_mem 的 NOTICE说明图塞不进内存、构建会变慢把maintenance_work_mem调大即可别大到撑爆服务器。混合搜索与存储压缩查询更准索引更小纯向量检索容易漏掉用户明写的词和 Postgres 自带全文检索拼起来就是混合搜索两路各查一遍用分数融合排序。权重按业务调向量路通常占大头SELECT id, content, ts_rank(to_tsvector(english, content), plainto_tsquery(english, search)) * 0.3 (1 - (embedding [1,2,3]::vector)) * 0.7 AS score FROM items ORDER BY score DESC LIMIT 5;数据量再大两条压缩路线能直接省索引空间。半精度halfvec把存储砍一半1536 维的嵌入最受益二进制量化用表达式索引把向量压成 bit 串做快速初筛再回原向量重排保召回CREATE INDEX ON items USING hnsw ((binary_quantize(embedding)::bit(3)) bit_hamming_ops);SELECT * FROM ( SELECT * FROM items ORDER BY binary_quantize(embedding)::bit(3) ~ binary_quantize([1,-2,3]) LIMIT 20 ) ORDER BY embedding [1,-2,3] LIMIT 5;排查现象、根因、处理现象根因处理PGROOT is not set没在 Native Tools 窗口里set过 PGROOT或换了终端丢了环境变量在 x64 Native Tools 窗口重新set PGROOT...再跑 nmake找不到c.h/postgres.hPGROOT 指向的目录里没有include/server或路径写错确认$(PGROOT)\include\server真实存在链接期报postgres.lib相关错误没装完整 PostgreSQL或 PGROOT 版本与编译器不匹配用官方安装包重装对应版本的 PostgreSQLCREATE EXTENSION vector报对象不存在install没跑成功dll 或 sql 没进位单独重跑nmake /F Makefile.win install查share\extension下有vector--0.8.6.sql加了 HNSW 索引查询反而更慢索引扫描候选数太小默认ef_search40或执行计划走了全表EXPLAIN (ANALYZE, BUFFERS)看是否走 Index Scan调大hnsw.ef_search带 WHERE 的向量查询召回低近似索引是先扫索引再过滤过滤后候选被滤掉大半开SET hnsw.iterative_scan relaxed_order让索引自动多扫或给过滤列建普通索引先跑通CREATE EXTENSION vector并拿到 5 行最近邻结果再根据表行数决定建 HNSW 还是 IVFFlat查询召回不够时先调ef_search/probes别急着换索引。【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考