全球网速测量(上传和下载)数据(测量实验室(M-Lab))

举报
此星光明 发表于 2024/07/05 21:10:39 2024/07/05
【摘要】 ​ 简介Measurement Lab Network Extracts (M-Lab)测量实验室(M-Lab)是全球最大的开源互联网测量机构。M-Lab 网络诊断工具 (NDT) 数据集是研究人员和网络工程师了解互联网性能的宝贵资源。它由运行 NDT 工具的用户收集的大量测试结果组成。这些测试测量用户互联网连接的各个方面,包括下载和上传带宽、延迟(信号延迟)和数据包丢失。这是一个非常小的样...

 简介

Measurement Lab Network Extracts (M-Lab)

测量实验室(M-Lab)是全球最大的开源互联网测量机构。M-Lab 网络诊断工具 (NDT) 数据集是研究人员和网络工程师了解互联网性能的宝贵资源。它由运行 NDT 工具的用户收集的大量测试结果组成。这些测试测量用户互联网连接的各个方面,包括下载和上传带宽、延迟(信号延迟)和数据包丢失。

这是一个非常小的样本提取,从单日提取的 15,000 个下载和上传样本中提取 2024-06-01

无损检测数据集的独特之处在于其用户主动性。与服务提供商进行的传统网络监控不同,NDT 数据反映的是真实世界的用户体验。用户通常会在遇到网络问题时运行 NDT 工具,从而导致在网络中断或性能不佳期间测试量大增。这使得 NDT 数据集成为分析互联网健康趋势、识别瓶颈和了解最终用户网络问题表现形式的丰富来源。通过研究 NDT 测试的特征,研究人员可以获得有关互联网整体质量和性能的宝贵见解。

打开互联网测量

当互联网连接无法正常工作时,您如何判断问题是由连接、应用程序还是其他原因造成的?要回答这个问题和其他类似问题,难度可想而知。这就是测量实验室的用武之地。

M-Lab 是一个开放源码项目,其贡献者来自民间社会组织、教育机构和私营企业,他们致力于

为全球网络性能提供一个开放、可验证的测量平台
托管全球最大的开放式互联网性能数据集
创建可视化和工具,帮助人们了解互联网性能


M-Lab 的使命是什么?

M-Lab 旨在为消费者提供有关互联网性能的有用信息,从而推动互联网研究。通过提供免费、开放的互联网测量数据,研究人员、监管机构、倡导团体和公众可以更好地了解互联网对他们的作用,以及如何维护和改善互联网的未来。

为什么选择测量实验室?

真正的科学需要可验证的过程,而 M-Lab 欢迎科学合作和审查。这就是为什么 M-Lab 全球测量平台收集的所有数据都是公开的,M-Lab 托管的所有测量工具都是开源的。任何有时间和技能的人都可以审查和改进 M-Lab 平台、工具和数据所依赖的基本方法和假设。透明度和审查是良好科学的关键,而良好的科学则是良好测量的关键。

研究人员的开放平台

M-Lab 为科研人员提供分布广泛的服务器和充足的连接,从而为科研工作提供帮助。每项研究人员开发的测试都会在 M-Lab 平台上分配到专用资源,以促进精确测量。服务器端工具采用开放式许可和运营,允许第三方开发自己的客户端测量软件。

为所有人提供更好的开放数据

通过 M-Lab 收集的所有数据均向公众开放。M-Lab 的历史数据档案库提供了一个通用的历史网络测量信息库,任何人都可以使用,它是一个数据源,使消费者、运营商、监管机构、研究人员和公民社会能够了解互联网的状态和质量。

M-Lab 的历史是怎样的?

2008 年,"互联网之父 "文特-瑟夫(Vint Cerf)开始与互联网研究人员进行一系列对话,以了解他们在尝试研究互联网性能时所面临的挑战。研究人员发现了几个问题,其中包括缺乏广泛部署的、具有充足连接性的服务器来支持互联网测量实验。他们还表示,无法轻松地相互共享大型数据集。

此外,也没有公共资源可以为政策制定者或有兴趣了解其互联网性能的消费者提供综合性能数据。在这些讨论的基础上,M-Lab 应运而生,旨在帮助解决研究人员遇到的核心问题,并促进互联网的大规模开源测量。

M-Lab 于 2009 年由新美国开放技术研究所、PlanetLab 联盟、谷歌和一群学术研究人员共同创建。

代码

var mlab_download_extract = ee.FeatureCollection("projects/sat-io/open-datasets/network/MLAB/mlab_download_extract");
var mlab_upload_extract = ee.FeatureCollection("projects/sat-io/open-datasets/network/MLAB/mlab_upload_extract");


//网络单日从 MLAB 提取 15,000 2024-06-01
print('MLAB Download Extract',mlab_download_extract.first())
print('MLAB Upload Extract',mlab_upload_extract.first())

//获取所有属性
print('Property Names',mlab_download_extract.first().propertyNames())

//让我们运行一些查询
print(mlab_download_extract.aggregate_histogram('isp'))
print(mlab_upload_extract.aggregate_histogram('isp'))

//让我们来统计一下提取的数据(下载数据)
var download_stats = mlab_download_extract.aggregate_stats('max_download_speed_mbps')
print('Download stats for max download speed',download_stats)
print(download_stats.getNumber('max'))
print(download_stats.getNumber('min'))

//让我们来统计一下提取的数据(上传数据)
var upload_stats = mlab_upload_extract.aggregate_stats('max_upload_speed_mbps')
print('Download stats for max upload speed',upload_stats)
print(upload_stats.getNumber('max'))
print(upload_stats.getNumber('min'))

Map.addLayer(mlab_download_extract,{'color':'green'},'Download Speed Extracts')
Map.addLayer(mlab_upload_extract,{'color':'red'},'Download Speed Extracts')

var snazzy = require("users/aazuspan/snazzy:styles");
snazzy.addStyle("https://snazzymaps.com/style/65217/grey", "Greyscale");

// 将地图置于特定区域的中心(可选)
Map.setCenter(0, 0, 2); // You can adjust the coordinates and zoom level as needed

代码链接

https://code.earthengine.google.com/?scriptPath=users/sat-io/awesome-gee-catalog-examples:global-utilities-assets-amenities/MLAB-EXTRACTS-NETWORK-SPEED

引用

Measurement Lab. "The M-Lab NDT Data Set." (February 11, 2009 -- December 21, 2015).
Accessed July 2, 2024. https://measurementlab.net/tests/ndt.

许可

All data collected by M-Lab tests are available to the public without restriction under a No Rights Reserved Creative Commons Zero Waiver.

Dataset accessed: 2024-07-01

Dataset provided by: Measurement Lab (M-Lab)

Curated in GEE by: Samapriya Roy

Keywords: : analytics,network speed,cities,civic,infrastructure,internet,network traffic, telecommunications,isp

Last updated: 2024-07-02

网址推荐

0代码在线构建地图应用

https://www.mapmost.com/#/?source_inviter=CnVrwIQs

机器学习

https://www.cbedai.net/xg 


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。