sklearn特征的提取(下）

上文特征的提取(上）

特征哈希向量

词袋模型的方法很好用，也很直接，但在有些场景下很难使用，比如分词后的词汇字典表非常大， 达到100万+，此时如果直接使用词频向量或Tf-idf权重向量的方法，将对应的样本对应特征矩阵载 入内存，有可能将内存撑爆，在这种情况下我们该怎么办呢？
词袋模型的方法很好用，也很直接，但在有些场景下很难使用，比如分词后的词汇字典表非常大， 达到100万+，此时如果直接使用词频向量或Tf-idf权重向量的方法，将对应的样本对应特征矩阵载 入内存，有可能将内存撑爆，在这种情况下我们该怎么办呢？
我们可以应用哈希技巧进行降维。

Hash函数可以将一个任意长度的字符串映射到一个固定长度的散列数字中去。Hash函数是一种典 型的多对一映射。

• 正向快速：给定明文和 hash 算法，在有限时间和有限资源内能计算出 hash 值。
• 逆向困难：给定（若干） hash 值，在有限时间内很难（基本不可能）逆推出明文。
• 输入敏感：原始输入信息修改一点信息，产生的 hash 值看起来应该都有很大不同。
• 碰撞避免：很难找到两段内容不同的明文，使得它们的 hash 值一致（发生碰撞）。即对 于任意两个不同的数据块，其hash值相同的可能性极小；对于一个给定的数据块，找到和 它hash值相同的数据块极为困难。

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/88655821