Freebase Data Dump结构初探

举报
蜉蝣与海 发表于 2021/07/27 11:41:48 2021/07/27
【摘要】 此文为几年前写的,在华为云这个平台做一次梳理。作为曾经风靡一时的Freebase,现在上其网站上只能看到Data Dump这一数据结构。而这一结构对很多初学者来说往往晦涩难懂,需要掌握RDF和RDFS以及Freebase构图的一定知识。了解好这一部分知识,有助于更好的理解Freebase内数据的构成。本文分为以下章节:一、Freebase Dump格式以及其形式化定义二、Freebase中的...

此文为几年前写的,在华为云这个平台做一次梳理。

作为曾经风靡一时的Freebase,现在上其网站上只能看到Data Dump这一数据结构。而这一结构对很多初学者来说往往晦涩难懂,需要掌握RDF和RDFS以及Freebase构图的一定知识。了解好这一部分知识,有助于更好的理解Freebase内数据的构成。

本文分为以下章节:

一、Freebase Dump格式以及其形式化定义

二、Freebase中的类型和属性

三、类型和属性在Freebase中的定义


一、Freebase Dump格式以及其形式化定义

目前Freebase下载地址已迁移至https://developers.google.com/freebase, 其N-Triple 格式的数据下下来约30G,可以直接解压查看,如果磁盘空间不足,使用gunzip工具可以查看其内容,也可以使用Java的GzipInputStream直接读取压缩文件:

gunzip -c freebase-rdf-latest.gz | more

解压后发现数据按行组织,每一行都是一个三元组:

<http://rdf.freebase.com/ns/m.01jzhl>	<http://rdf.freebase.com/ns/type.object.name>	"姚明"@zh	.
<http://rdf.freebase.com/ns/m.01jzhl>	<http://rdf.freebase.com/ns/people.person.profession>	<http://rdf.freebase.com/ns/m.01445t>	.

从左至右依次是Subject(主语)、Predicate(谓词)、Object(“宾语”或者“客体")

w3c上对RDF格式是这样解释的[1]:

the subject, which is an IRI or a blank node
the predicate, which is an IRI
the object, which is an IRI, a literal or a blank node

简单来说,就是主语可以是一个IRI或者是blank node,谓词可以是一个IRI,宾语可以是IRI、blanknode、或者文字。

关于IRI是什么,其全称是Internationalized Resource Identifiers,即国际化资源定位符,可以认为是扩展的URI,不仅可以使用英文,Unicode字符集都可以使用。[2]

例如:<http://rdf.freebase.com/ns/m.01jzhl>是一个IRI,<http://rdf.freebase.com/ns/type.object.name>则是另一个IRI,其定义中并未说明IRI的地址输入浏览器后可以连通,这些IRI仅仅表示这是一种对资源的引用。所以后缀为m.01jzhl的IRI代表的是一个资源,后缀为type.object.name则代表的是另一个资源。

至于文字(Literal),w3c给出的例子如下[3]:

<http://example.org/show/218> <http://www.w3.org/2000/01/rdf-schema#label> "That Seventies Show"^^<http://www.w3.org/2001/XMLSchema#string> . 
# literal with XML Schema string datatype
<http://example.org/show/218> <http://www.w3.org/2000/01/rdf-schema#label> "That Seventies Show" . # same as above
<http://example.org/show/218> <http://example.org/show/localName> "That Seventies Show"@en . # literal with a language tag
<http://example.org/show/218> <http://example.org/show/localName> "Cette Série des Années Septante"@fr-be .  
# literal outside of ASCII range with a region subtag
<http://example.org/#spiderman> <http://example.org/text> "This is a multi-line\nliteral with many quotes (\"\"\"\"\")\nand two apostrophes ('')." .
<http://en.wikipedia.org/wiki/Helium> <http://example.org/elements/atomicNumber> "2"^^<http://www.w3.org/2001/XMLSchema#integer> . # xsd:integer
<http://en.wikipedia.org/wiki/Helium> <http://example.org/elements/specificGravity> "1.663E-4"^^<http://www.w3.org/2001/XMLSchema#double> .     # xsd:double

这些三元组的最后一元都是文字,可以看到有一部分文字后面有^^标识,有一部分后面有@标识。^^标识后跟随的是一个IRI(dataType IRI),表示该文字的类型[1],@标识后跟随的是文字的语言(language tag).

网址[3]中还给出了RDF triple扩展的巴科斯范式的文法,具体如下:

[1] 	ntriplesDoc 	::= 	triple? (EOL triple)* EOL?
[2] 	triple 	::= 	subject predicate object '.'
[3] 	subject 	::= 	IRIREF | BLANK_NODE_LABEL
[4] 	predicate 	::= 	IRIREF
[5] 	object 	::= 	IRIREF | BLANK_NODE_LABEL | literal
[6] 	literal 	::= 	STRING_LITERAL_QUOTE ('^^' IRIREF | LANGTAG)?

刚刚提到的triple的定义、subject、predicate、object的定义,文法上都清晰的呈现出来,使用这些规则,可以校验N-Triple文档是否符合规范。

通过这些定义,根据object的不同,可以把freebase的triple分为两大类:

1. object为IRI的:这类triple的主语和宾语都是IRI,其object还会链接向其他的节点,在属性图模型中,这类triple可以认为是图中的一条边。

<http://rdf.freebase.com/ns/m.01jzhl>    <http://rdf.freebase.com/ns/people.person.profession>    <http://rdf.freebase.com/ns/m.01445t>    .

2. object为literal的:这类triple宾语是literal, 其object不会再链接向其他的节点,在属性图模型中,这类triple可以认为是顶点属性。

<http://rdf.freebase.com/ns/m.01jzhl>    <http://rdf.freebase.com/ns/type.object.name>    "姚明"@zh    .


二、Freebase中的类型和属性

先来简单了解一下Freebase数据结构:

整个Freebase数据库是一张大图,每个节点都使用type/object定义,边使用type/link定义。

不同的节点代表不同的实体,使用不同的MID区分。例如“姚明”的MID为m.01jzhl。

一个实体往往有很多边和属性(Property)。比如对于某一个人,可能有姓名、性别、出生日期、个人经历、职业等等属性和边。

一个实体往往有很多类型。比如"姚明",在Freebase库中的MID是m.01jzhl,有如下条目(忽略前缀):

<m.01jzhl>  <type.object.type> <people.person> .

与<person.person>相关的,它在freebase中有这样的条目:

<m.01jzhl>	<people.person.profession>	<m.01445t>	.
<m.01jzhl>	<people.person.date_of_birth>	"1980-09-12"^^<http://www.w3.org/2001/XMLSchema#date>	.
<m.01jzhl>	<people.person.education>	<m.0n1k91v>	.
<m.01jzhl>	<people.person.profession>	<m.02h664x>	.
<m.01jzhl>	<people.person.nationality>	<m.0d05w3>	.
<m.01jzhl>	<people.person.parents>	<m.0g5bnz5>	.
<m.01jzhl>	<people.person.place_of_birth>	<m.06wjf>	.
<m.01jzhl>	<people.person.spouse_s>	<m.0j688yq>	.
<m.01jzhl>	<people.person.parents>	<m.0g5bnyy>	.
<m.01jzhl>	<people.person.gender>	<m.05zppz>	.
<m.01jzhl>	<people.person.weight_kg>	"141.0"	.

再比如,姚明还是一位运动员:

<m.01jzhl>	<type.object.type>	<sports.pro_athlete>	.

与运动员相关的,他有如下条目:

<sports.pro_athlete>	<type.type.instance>	<m.01jzhl>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j_ny44>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j2m__w>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0t_6b7s>	.
<m.01jzhl>	<type.object.type>	<sports.pro_athlete>	.
<m.01jzhl>	<sports.pro_athlete.career_start>	"1997"^^<http://www.w3.org/2001/XMLSchema#gYear>	.
<m.01jzhl>	<sports.pro_athlete.sports_played_professionally>	<m.0c55c2z>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j_ny44>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j2m__w>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0t_6b7s>	.
<m.01jzhl>	<sports.pro_athlete.sports_played_professionally>	<m.0c55c2z>	.

可以简单理解为,在Freebase中,一个实体具有哪些类型的边,往往由其分属哪些类型决定。


三、类型和属性在Freebase中的定义

对于类型和属性,Freebase也有一系列三元组对其进行定义,下列shell脚本可以列出Freebase中的类型:

gunzip -c freebase-rdf-latest.gz |grep 'type.type>'

部分结果摘录如下:

<http://rdf.freebase.com/ns/award.award_winner> <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/award.long_list_nominee>    <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.au.local_government_area>        <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.dj.region>       <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.it.commune>      <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.pg.province>     <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.banking.investment_scheme>     <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.bioventurist.science_or_technology_company>    <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.birdconservation.topic>        <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.birdinfo.parasitism>   <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .

这里award.awrad_winner, award.long_list_nominee等都是Freebase的类型。

而还有些类型,则是类似于下列形式(忽略前缀):

<m.04kr> <type.object.id> "/people/person" .
<m.04kr> <type.object.type> <type.type> .
<m.04kr> <type.type.domain> <m.01z0kpp> .
<m.04kr> <type.type.properties> <m.025d7wc> .
<m.04kr> <freebase.type_hints.included_types> <m.01c5> .
<m.04kr> <base.ontologies.ontology_class.equivalent_classes> <m.04gf613> .

这里m.04kr代表上文提到的<people.person>, 即每种类型同样拥有一个MID,此外类型包含哪些属性可以通过谓词<type.type.properties>查看。对这些信息的详细分析,留待下一节讨论。


相关参考:

[1]w3c RDF1,1 Concept https://www.w3.org/TR/rdf11-concepts/#section-triples

[2]IRI 百度百科 http://baike.baidu.com/item/iri
[3]RDF 1.1 N-Triples:https://www.w3.org/TR/n-triples/

[4]Basic Concepts:http://developers.google.com/freebase/guide/basic_concepts

[5]Freebase.com语义数据库浅析 http://blog.sina.com.cn/s/blog_600791e00100hd4m.html

同时再附几个地址:

freebase data dump:https://developers.google.com/freebase

Freebase 介绍:http://www.ruanyifeng.com/blog/2007/05/freebase_com.html
Freebase再研究 http://www.ruanyifeng.com/blog/2008/04/freebase_reloaded.html


想了解更多的AI技术干货,欢迎上华为云的AI专区,目前有AI编程Python等六大实战营供大家免费学习。(六大实战营link:http://su.modelarts.club/qQB9)




【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200