抓取与清洗
抓取队列按站点权重与更新频率排序，遵循 robots 协议与请求间隔约定。抓取到的页面先做正文提取与噪声过滤，去除导航、广告与重复模板，只保留可被检索的主体内容。
平台做什么、不做什么，两条线划清
平台提供从抓取、清洗、建索引到检索结果排序的全链路能力，接入方可按需选择单项或组合使用。数据源限于公开可访问的网页、公开文档与公开数据库，抓取频率与范围由 robots 协议约束。能力通过控制台与 API 两种方式接入，计费按检索调用量与索引存储量分项结算。
平台不抓取登录后内容，不绕过访问限制，不索引下载链接，也不提供文件存储与分发。所有被索引的页面版权归原站点所有，平台仅在检索结果中展示标题、摘要与来源域名，不缓存全文，不提供原页面镜像。接入方对自身检索场景的合规性负责。
从抓取到结果返回，六个关键环节的工程实现
抓取队列按站点权重与更新频率排序，遵循 robots 协议与请求间隔约定。抓取到的页面先做正文提取与噪声过滤，去除导航、广告与重复模板，只保留可被检索的主体内容。
索引按倒排结构组织，分词支持中文与英文混合，词条权重按位置与频次计算。索引分热、温、冷三层存储，热层常驻内存以保证检索响应，冷层按需加载。
去重按内容指纹与标题相似度两级判断，同一内容在多个站点出现时合并为一条，保留首发来源与转载来源列表。相似但不等同的结果单独标注，不强行合并。
排序综合考虑词条匹配度、来源权重与时效性，三项权重可由接入方在控制台调整。调权结果实时生效，无需重建索引，调整前后的排序差异可在对比视图中查看。
高频检索词的结果进入缓存层，命中时直接返回，未命中再走索引查询。缓存按小时级预热，预热清单可由接入方指定，缓存内容与索引保持同步更新。
每次检索记录查询词、返回条数、响应耗时与点击来源，日志保留期限可在控制台设置。日志用于分析检索质量与调优，不用于用户画像，也不对外提供。
八类接入场景，按使用方划分，标注核心能力与接入周期
面向政务与事业单位，索引公开发布的政策文件与办事指南，支持按文号、发布机构与生效日期检索，结果页保留原文出处链接。
面向高校与科研单位，索引公开论文元数据与开放获取资源，支持按作者、机构与发表年份筛选，摘要与引用信息一并返回。
面向企业内网，提供私有化部署与组织架构对接，索引内部文档与规范手册，检索范围按部门与角色限定，日志不外传。
面向媒体与内容平台，索引公开新闻报道与公告，支持按时间线与主题聚类，同一事件的多篇报道合并展示，保留各来源链接。
面向有开发能力的技术服务商，提供 REST API 与 SDK，覆盖检索、索引提交、日志查询与调权配置四类接口，沙箱环境同步开放。
面向行业门户与垂直站点，按领域限定抓取范围与词库，检索结果只在本领域内返回，词典与同义词表可由接入方维护。
面向对召回率有要求的场景，提供同义词扩展与语义近似查询，查询词与扩展词的关系在结果页可见，避免出现「不知道为什么不相关」的情况。
面向对合规有要求的机构，提供检索日志导出与访问审计，记录查询词、调用方与返回条数，日志保留期限可设置，导出格式为结构化文本。
把平台侧的设计讲明白，把边界跟到位
抓取范围限于公开可访问的网页、文档与数据库，遵循 robots 协议与请求间隔约定，不绕过登录与访问限制。每条结果标注来源域名与抓取时间，接入方可核对信息来源，不展示来源不明的条目。
去重按内容指纹与标题相似度两级判断，阈值写在技术文档中，接入方可查询某条结果为何被合并或保留。相似但不等同的结果单独标注，不强行合并，避免把不同内容当成重复项处理掉。
排序综合考虑匹配度、来源权重与时效性，三项权重可在控制台调整，调整后实时生效，无需重建索引。调整前后的排序差异可在对比视图中查看，便于判断调权是否达到预期效果。
检索日志记录查询词、返回条数与响应耗时，用于分析检索质量与调优，不用于用户画像，也不对外提供。日志保留期限由接入方设置，到期自动清除，导出格式为结构化文本。
接入方提交的索引清单与产生的检索数据归接入方所有，平台仅在授权范围内使用。合作终止时可导出全部数据，导出包包含索引元数据与检索日志，导出后平台按约定时间清除副本。
服务按等级分档，不同档位对应不同的响应时限与支持方式。技术故障类按优先级处理，配置咨询类在工作时间内答复，需求评估类按月汇总，各档位的具体时限写在服务协议中。
抓取、索引与排序，三件事讲透
聚合检索的第一道边界是抓取范围。平台只抓取公开可访问的页面，抓取前先读取站点的 robots 协议，按协议约定的路径与频率执行；对设置了访问限制的页面，不做任何绕过尝试。抓取队列按站点权重与更新频率排序，更新频繁的站点抓取间隔较短，长期无变化的站点逐步降低频率。抓到的页面先做正文提取与噪声过滤，去除导航、广告与重复模板，只保留可被检索的主体内容。每条记录标注来源域名与抓取时间，接入方在结果页可核对，来源不明的记录不进入索引。
索引按倒排结构组织，分词支持中文与英文混合，词条权重按位置与频次计算。索引分热、温、冷三层存储，热层常驻内存以保证检索响应，温层按天加载，冷层按需加载。更新采用增量方式，新抓取的页面进入待索引队列，按批次合并到主索引，合并过程中旧索引仍可对外提供服务，避免更新时出现检索中断。全量重建按季度执行一次，重建期间新旧索引并行，切换在分钟级完成。索引体积与更新频率在控制台可见，接入方可据此调整抓取配置。
排序与去重不是两步独立处理，而是协同工作。查询进入后先召回候选集，候选集内先做去重，把同一内容在多个站点出现的重复项合并为一条，保留首发来源与转载来源列表。去重后的结果再进入排序，按匹配度、来源权重与时效性三项加权，权重可在控制台调整。相似但不等同的结果单独标注，不强行合并，避免把不同内容当成重复项处理掉。排序结果实时返回，调权无需重建索引。若接入方对某条结果的排序或去重有异议，可通过工单提交，复核依据的处理日志与阈值，结论与理由一并留档。
能力升级与规则调整的近期记录
平台在11月13日完成索引分层存储升级，热层常驻内存比例提升，检索中位响应缩短。升级期间检索服务未中断，历史索引与日志记录保留可查。
平台在11月12日上线去重阈值可视化，接入方可查看某条结果为何被合并或保留，阈值调整后实时生效。原有去重规则保留可查，历史判定记录支持按时间筛选。
平台在11月10日开放排序对比视图，接入方可对照调整前后的排序差异，判断调权是否达到预期。对比视图支持按查询词与时间范围筛选，结果可导出。
平台在11月8日为沙箱环境新增日志查询接口，接入方可在不影响正式数据的前提下调试检索日志与调用记录。沙箱环境与正式环境分离计费。
平台在11月6日上线抓取频率按站点配置，接入方可对特定站点单独设定抓取间隔与页面上限，配置调整后次日生效，历史抓取记录保留可查。
平台在11月4日完成日志导出格式标准化，导出包包含查询词、返回条数、响应耗时与来源域名四类字段，格式说明写在文档中，历史导出记录保留可查。
最近三个月接入方留下的真实反馈
八个高频疑问，逐条对应到具体处理方式
只抓取公开可访问的网页、公开文档与公开数据库，抓取前读取站点 robots 协议，按协议约定的路径与频率执行。对设置访问限制的页面不做绕过尝试，也不抓取登录后内容。
不会。平台仅在检索结果中展示标题、摘要与来源域名，不缓存全文，不提供原页面镜像，也不提供文件存储与分发。所有被索引页面的版权归原站点所有，接入方对自身检索场景的合规性负责。
按内容指纹与标题相似度两级判断，阈值写在技术文档中。同一内容在多个站点出现时合并为一条，保留首发来源与转载来源列表。相似但不等同的结果单独标注，不强行合并，接入方可查询某条结果的判定依据。
可以。排序综合考虑匹配度、来源权重与时效性，三项权重可在控制台调整，调整后实时生效，无需重建索引。调整前后的排序差异可在对比视图中查看，结果可导出。
日志用于分析检索质量与调优，记录查询词、返回条数与响应耗时，不用于用户画像，也不对外提供。日志保留期限由接入方设置，到期自动清除，导出格式为结构化文本。
接入方提交的索引清单与产生的检索数据归接入方所有，平台仅在授权范围内使用。合作终止时可导出全部数据，导出包包含索引元数据与检索日志，导出后平台按约定时间清除副本。
按场景不同，教育资料与媒体聚合通常在 5-7 天，政务与垂直领域在 7-10 天，企业私有化与接口二次开发在 10-14 天。具体周期视接口联调进度而定，控制台提供接入清单供对照。
有。沙箱环境覆盖检索、索引提交与日志查询三类接口，与正式环境分离计费，不影响正式数据。接口文档与示例代码同步提供，联调通过后再切换正式环境。
四张卡片，说明这个平台在做什么
磁力狐是面向公开信息的聚合检索平台，接入网页、文档与公开数据库三类数据源，提供索引构建、结果去重、排序调权与检索日志四类基础能力，不抓取登录后内容，不提供文件分发。
索引构建、结果去重、排序调权与检索日志四类能力可单独接入，也可组合使用。控制台按模块分区展示，指标与配置互不干扰，接入方按实际需求选择。
政务机构、教育科研单位、企业知识库、媒体平台与技术服务商，可按场景选择接入方案。接入周期从 5 天到 14 天不等，控制台提供接入清单供对照。
抓取范围与去重逻辑写在文档中，接入方可查询具体判定依据。索引清单与检索数据归接入方所有，合作终止时可按标准格式导出，导出后平台按约定时间清除副本。
学术资料那套索引接进来之后，按作者和年份筛比之前自己写爬虫省了太多事。
同一事件的多篇报道能合并展示，各来源链接也都保留着，整理时间线的时候省了对照的功夫。
去重阈值能看到某条为什么被合并，排查误合并的时候不用瞎猜，这点比很多平台做得实。
私有化部署之后，部门权限对接得比较顺，检索日志不外传这一条在合规评审里帮了大忙。
政策文件能按文号和发布机构检索，结果页保留原文出处，核对时点一下就能跳过去。
领域词库能自己维护，同义词表更新之后召回明显好了一些，调整过程也有记录。
沙箱环境能调日志查询接口，联调阶段不用碰正式数据，文档里的示例也能直接跑通。
排序调权能实时生效，改完权重马上能看到前后差异，比等重建索引快多了。
抓取频率能按站点单独设，几个更新慢的站点调低了间隔之后，抓取配额省下来不少。
日志导出格式统一之后，做检索质量分析不用再写清洗脚本，直接导入表格就能看。