做一只爬虫需要考虑的
前言整理一下做一只可靠的爬虫需要考虑的因素。一次典型的爬取过程包括下载一个 URL 返回的页面，解析页面中的目标数据，将数据存储起来。那么，可以从网络、解析、存储三个方面来讨论分析。另外，为了应对服务端的反爬虫策略，还需要考虑反反爬虫策略。
网络解析存储反反爬虫策略多线程数据采集方式数据解析数据存
...
JDK 动态代理
前言JDK 动态代理可以让我们很容易地实现代理模式。通过解析动态代理的实现机制，我们可以更好地使用它。
一个例子我们先来写个简单的例子，先定义两个接口 Subject 和 Subject2。
1234567public interface Subject { void hello(
...
技术脑图整理
前言这是我看书的笔记做成的脑图，整理在这里，会经常更新。
脑图Java SE周志明. 深入理解Java虚拟机[M]. 机械工业出版社, 2011.
BrianGoetz, 戈茨, 童云兰. Java并发编程实战[M]. 机械工业出版社, 2012.
Java EE王福强. Spring揭秘[M].
...
马尔科夫模型
要素
状态集合 $S=\lbrace s_0, s_1, s_2, \ldots, s_n \rbrace$
状态转换概率矩阵 $A= \lbrace a_{ij}|0 \le i \le n, 1 \le j \le n \rbrace$
前提马尔科夫假设某个状态出现的概率仅依赖于前m个状态，
...
反向传播
前言反向传播算法是一种训练人工神经网络的常用方法。它通过计算网络中所有权重的梯度，并对权重进行迭代更新，以最小化损失函数。根据上面的介绍，我们可以得知，反向传播算法的关键，是找出每个权重的梯度，然后可以使用前面讲到的梯度下降方法，进行权重的更新。
三层网络的例子我们先来看最基本的三层网络。如图，这
...
动态规划（二）——最长递增子序列（LIS）
前言在遥远的上一篇，我们介绍了动态规划的第一个问题——背包问题。这篇，我们接着介绍另一个初级问题——最长递增子序列(LIS)。
问题简述给定一个数字序列 $a_1, a_2, \ldots, a_n$ ，求其中最长的递增子序列长度。举个栗子，现在有序列 $2, 3, 5, 4, 1, 6$ ，那么
...
从最小二乘法到梯度下降法（二）
前言上一篇我们介绍了最小二乘法，这是一种数学优化方法，常用于拟合回归。它的基本思想就是通过令参数的偏导数为0，计算残差平方和的最小值。但是这种方法有一定的局限性，就是不适合使用计算机进行计算，因为计算机不会解方程。那么，有没有方便计算机进行计算的方法呢？答案当然是有的。计算机虽然不会解方程，但是它
...
从最小二乘法到梯度下降法（一）
前言最小二乘法是一种数学优化方法，它通过计算数据残差的平方和并使之最小，从而得到数据的最佳函数匹配。
线性回归的例子假设我们需要得到变量 $x, y$ 满足的函数关系 $y=ax+b$ 。现在已知一系列点$(x_i, y_i)(1 \leq i \leq n)$，我们得到残差平方和为：$$F(a,
...
记一次异常数据过滤算法的优化
这段时间公司给了个新的需求：对现有的小区均价异常数据过滤算法进行优化，因为现在的过滤算法过滤了大量正常数据，导致均价变化幅度很大，引起客户的怀疑。
算法目标过滤算法的目标是过滤小区房子的错误数据。由于我们的数据来源是中介网站，可以认为错误数据不会很多。另外，如果有错误数据，也认为这是很容易辨识出来
...
布隆过滤器
前言在现实生活中，我们常会遇到需要判断某元素是否在一个集合中的问题。比如，网络爬虫需要判断一个网址是否已经被爬取过、或者需要检查某个邮件地址是否用于发送垃圾邮件。我们可以想到的方法可能是把他们保存起来，保存到数组、链表、树中，并由最优的搜索算法遍历。但随着数据个数的增长，搜索的代价逐渐升高（最好的
...