IP地址定位技术之基础数据采集

举报
郑州埃文科技 发表于 2022/07/11 17:01:03 2022/07/11
【摘要】 IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。

IP地理位置定位技术,包含基础数据采集、硬件系统搭建、应用场景划分和定位系统研发四项关键技术。

1.png

 

基础数据采集为IP地理位置定位技术的研究提供基础数据支撑,是IP地址定位的基础性工作和关键技术。首先,按照不同的数据采集规则,针对不同数据源的数据格式,研究并实现一套自动化的智能化的数据采集技术;其次,对采集到的数据进行筛选、清洗和挖掘,形成基础数据库,为系统提供基础数据支撑。

基础数据采集的研究内容包含确定数据源(如Whois开放数据等)、分析数据采集的方法(如网络爬虫、数据交换、地面采集等)、各种数据采集方法的可行性分析及实现方案、确定采集数据的属性值(如地理位置、经纬度、所属运营商等)、数据的清洗办法、数据的正确性验证步骤、基础数据的迭代更新流程等。

为了保证数据质量和数据丰富性,针对不同的数据源,系统通过三种方式获取基础数据,分别是数据挖掘、数据采购、地面采集。数据挖掘是指通过网络爬虫,从特定网页如APNIC网站、BGP网站、地图类网站中获取IP及地理位置信息;数据采购是指从可以提供基础数据的公司进行数据采购,例如某本地服务网站、某网络打车网站等;地面采集是指利用自主研发的数据采集软件,进行人工实地数据采集。

2.png

  

数据采集技术已存在多个开源的第三方框架,例如Scrapy、Nutch、Crawler4j、WebMagic等;数据挖掘算法,例如支持向量机SVM、K-Means等,都已得到广泛应用。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。