Executive Summary

核心观点（金字塔原理）

结论先行: 《集体智慧编程》系统讲解了如何利用机器学习算法分析用户行为数据，构建推荐系统、搜索引擎、聚类分析等实用应用。

支撑论点:

1. 推荐算法：基于欧几里德距离和皮尔逊相关度的协同过滤，支持用户相似和物品相似两种策略
2. 聚类与分类：无监督学习的分级聚类和K-均值算法，可发现数据中的自然群组
3. 搜索排名：结合内容分析（词频、位置）和链接分析（PageRank）的综合排名策略
4. 优化与建模：遗传算法、贝叶斯分类、决策树和KNN回归等通用算法框架

SWOT 分析

适用场景

• 推荐使用：机器学习入门、理解协同过滤原理、构建简单推荐系统
• 谨慎使用：生产级推荐系统（需结合深度学习）、大规模数据场景

第1章 集体智慧导言

集体智慧的核心思想是将一群人的行为、偏好或思想组合在一起，从中创造新的洞察。Web 2.0 时代用户每天产生的海量数据（搜索、购买、评价、社交），为机器学习提供了前所未有的素材。

学习型算法的应用领域：

• 市场预测与股票分析
• 金融欺诈侦测
• 机器视觉与生物工艺学
• 供应链优化与产品市场化
• 推荐引擎（Netflix、Amazon）

本书的定位：不需要深厚的数学背景，用 Python 代码驱动，从零构建各类智能应用。

第2章 提供推荐

推荐系统是集体智慧最直观的应用——基于众人的行为数据，为个体提供个性化建议。

相似度度量

欧几里德距离（Euclidean Distance）：

distance = sqrt(sum((rating_a[i] - rating_b[i])^2))
similarity = 1 / (1 + distance)

返回 0~1 之间的值（1 = 完全相同）。简单直观，但对”评分通胀”敏感——总是打高分的用户与保守评分的用户即使偏好一致，距离也会很大。

皮尔逊相关度（Pearson Correlation）：

r = Σ((x_i - x̄)(y_i - ȳ)) / sqrt(Σ(x_i - x̄)² × Σ(y_i - ȳ)²)

返回 -1~1 之间的值（1 = 完全正相关）。衡量的是趋势相关性而非绝对距离，因此一个打 [7,8,9] 和另一个打 [1,2,3] 的用户，皮尔逊相关度为 1（偏好完全一致）。

协同过滤策略

生产环境选择：基于物品的方法更受欢迎，因为物品相似度变化缓慢，可以离线预计算；而基于用户的方法每次请求都需要实时计算。

加权推荐评分

score(item) = Σ(similarity(u_a, u_b) × rating_b[item]) / Σ(similarity(u_a, u_b))

除以相似度之和进行归一化，防止被大量用户评过的物品产生不公平优势。

现代演进

协同过滤仍是现代推荐系统的基石。后续演进包括矩阵分解（SVD/SVD++）、神经协同过滤（NCF）、DeepFM 和基于图神经网络的 LightGCN。研究表明在小数据集和低资源环境下，经典 KNN/SVD 方法的表现依然强劲。

第3章 发现群组

聚类属于无监督学习——没有预定义标签，算法自动发现数据中的自然群组。

分级聚类（Hierarchical Clustering）

算法流程：
1. 每个数据点自成一个簇
2. 找到最相似的两个簇
3. 合并为一个父节点（位置取均值）
4. 重复步骤2-3，直到只剩一个簇

输出为树状图（Dendrogram），可以同时展示所有层级的聚类结构。使用皮尔逊相关度作为距离度量。

优点：无需预设簇的数量；可视化效果好；展示层级关系。 缺点：计算量大（O(n²logn)），不适合大数据集。

K-均值聚类（K-Means）

算法流程：
1. 随机放置 k 个质心
2. 将每个数据点分配到最近的质心
3. 将质心移到其所属数据点的均值位置
4. 若质心移动则回到步骤2，否则停止

优点：速度快，适合大数据集。 缺点：需要预设 k 值；随机初始化导致结果不稳定。

实际应用

书中用博客 RSS 订阅源做演示：将博客内容转化为单词向量（词频统计），聚类后可以发现技术博客、新闻聚合站、个人博客等自然分组。还可以对列（单词）进行聚类，发现语义相近的词组。

其他距离度量

• 谷本系数（Tanimoto Coefficient）：适用于二值特征向量
• 曼哈顿距离（Manhattan Distance）：欧几里德距离的替代方案

第4章 搜索与排名

本章从零构建一个完整的搜索引擎，包含四个组件：爬虫、索引器、查询引擎和排名器。

爬虫与索引

使用 Beautiful Soup 解析 HTML，SQLite 存储数据。索引库包含：

• URL 表、单词表
• 单词在文档中位置的列表
• 文档之间的链接信息

基于内容的排名

所有指标通过归一化函数统一到 [0, 1] 区间后加权组合。

PageRank 算法

PR(A) = (1 - d) + d × Σ(PR(T_i) / C(T_i))

• d = 0.85（阻尼因子）
• PR(T_i) = 链接到 A 的页面 T_i 的 PageRank 值
• C(T_i) = T_i 的出链总数

核心思想：一个页面的重要性取决于所有指向它的页面的重要性，除以这些页面的出链数。算法迭代多轮直到收敛。

链接文本与点击学习

• 链接文本排名：锚文本描述了被链接页面的内容，可作为额外的排名信号
• 神经网络学习：使用多层感知机从用户点击行为中学习查询-结果的关联，通过反向传播调整权重，能够泛化到从未见过的查询

第5章 优化

所有优化问题的共同点：定义一个成本函数衡量方案的优劣，目标是最小化成本。本章用四种算法解决三个不同问题（航班调度、宿舍分配、社交网络可视化）。

四种优化算法

随机搜索：尝试 10,000 个随机方案，保留最优。简单但不可靠，作为基准参考。

爬山法（Hill Climbing）：

从随机方案出发 → 尝试微调 → 保留更优方案 → 重复直到无法改进

速度快，但会陷入局部最优——可能找到的只是山丘而非山峰。

模拟退火（Simulated Annealing）：

高温阶段：自由接受更差方案（广泛探索）
降温过程：逐渐拒绝更差方案（收敛聚焦）
接受概率：P = exp(-ΔE / T)

灵感来自冶金退火——先加热让分子自由运动，缓慢降温使其进入低能态。通过暂时接受更差方案来逃离局部最优。

遗传算法（Genetic Algorithm）：

1. 生成 50 个随机方案作为初始种群
2. 按成本排序，保留 top 20%（精英选择）
3. 通过变异（微调单个元素）和交叉（组合两个方案）产生新一代
4. 重复迭代直到收敛

算法对比

设计洞察：通过抽象成本函数，同一套优化算法可以不加修改地应用于完全不同的问题领域。

第6章 文档过滤

以垃圾邮件过滤为切入点：基于规则的过滤器会失败，因为垃圾邮件发送者会适应规则；我们需要从数据中学习的分类器。

朴素贝叶斯分类器

贝叶斯定理：

P(类别|文档) = P(文档|类别) × P(类别) / P(文档)

“朴素”假设：所有特征（单词）相互独立。虽然这个假设在现实中几乎不成立，但实践中效果出奇地好。

关键机制：

• 加权概率：避免少量数据导致过度自信。例如”money”只在 1 封垃圾邮件中出现，不应直接得出 P=100% 的结论
• 阈值控制：设置 threshold('bad', 3) 表示”坏”的概率必须是”好”的 3 倍才分类为垃圾——宁可放过垃圾邮件，也不误杀重要邮件

费舍尔方法（Fisher Method）

SpamBayes（Python 的 Outlook 插件）使用的方法：

1. 计算每个特征的分类概率
2. 使用对数归一化处理不平衡分类
3. 应用逆卡方函数检验组合概率是否优于随机

比朴素贝叶斯略准确，使用 set_minimum() 替代阈值来控制灵敏度。

实际应用

• 邮件垃圾过滤
• RSS 订阅源分类（区分”Python 编程”与”Python 蟒蛇”）
• 博客评论审核
• 分类器支持在线学习——可增量更新，无需全量重训

第7章 决策树建模

决策树通过递归分裂数据来分类，与其他分类器不同的是，它产生人类可读的模型——可以追溯每个预测的具体原因。

核心算法

信息熵（Entropy）：

H(S) = -Σ(p_i × log₂(p_i))

• H = 0：所有样本属于同一类（纯净）
• H = 1：样本均匀分布在各类中（最大不确定性）

信息增益（Information Gain）：

IG(S, A) = H(S) - Σ((|S_v| / |S|) × H(S_v))

每一步选择信息增益最大的属性进行分裂，使得分裂后子集的熵最小。

建树流程

对每个属性的每个取值：
    将数据分为两个子集（满足/不满足条件）
    计算分裂后的信息增益
选择信息增益最大的分裂点
对每个子集递归执行以上操作
直到无法进一步提升信息增益

• 字符串特征：按 值 == 目标值 分裂
• 数值特征：按 值 >= 阈值 分裂

剪枝（Pruning）

建树过程即使信息增益很小也会继续分裂，导致过拟合。剪枝策略：当分裂前后的熵差小于阈值 min_gain 时，将该节点合并回叶节点。

处理缺失数据

遇到 None 值时，同时沿两个分支进行分类，返回概率加权的结果：

{'Basic': 1.24, 'None': 0.70, 'Premium': 1.37}

现代演进

决策树演化为 Random Forest（随机森林）和 Gradient Boosting（梯度提升）方法——XGBoost、LightGBM、CatBoost。在结构化/表格数据上，这些集成方法至今仍是 Kaggle 竞赛的主力，在许多场景下优于深度学习。

第8章 构建价格模型

将 KNN 从分类扩展到回归——预测连续数值。以葡萄酒价格预测为例。

KNN 回归

找到 k 个最相似的样本 → 取它们目标值的均值作为预测

k=3 时预测 $19.20 vs 实际 $21.11，准确度可接受但仍有改进空间。

加权 KNN

距离越近的邻居权重越大：

prediction = Σ(weight(d_i) × price_i) / Σ(weight(d_i))

核函数选择：

• 高斯核：w = exp(-d² / 2σ²) —— 平滑钟形衰减（默认推荐）
• 倒数核：w = 1 / (d + ε) —— 双曲线衰减
• 减法核：w = max(0, c - d) —— 线性衰减，超过阈值权重为零

交叉验证

将数据分为训练集（95%）和测试集（5%）
在训练集上训练，在测试集上评估
重复 100 次取误差均值

比较不同模型的总误差：基础 KNN(k=3) 误差 451.6 vs 加权 KNN(高斯核, k=5) 误差 539.6。

特征缩放优化

不同特征量纲不同（年份: 0-10, 容量: 375-3000），直接计算距离会被大量纲特征主导。

用遗传算法搜索最优缩放权重，结果 [16, 20, 2, 17] 显示评分和年份权重高，而无意义的货架号权重低——相当于自动特征选择。

概率密度估计

prob_guess(data, query, low, high) 估计预测值落在某区间的概率。通过概率密度图可以发现多峰分布（如隐藏的折扣因素导致的价格分群）。

经典算法与现代演进

参考资源

GitHub 实现：

• arthur-e/Programming-Collective-Intelligence — 最受欢迎的代码实现
• 147xin/programming-collective-intelligence-python3-code — Python 3 版本
• ggandor/prog-coll-intelligence-refact — 重构版，代码风格现代化

扩展阅读：

• 淘宝 Tengine 团队 - Nginx 系列文档
• Matt’s Code Cave - 章节笔记系列
• O’Reilly 官方代码仓库