Freebase Data Dump结构初探

此文为几年前写的，在华为云这个平台做一次梳理。

作为曾经风靡一时的Freebase，现在上其网站上只能看到Data Dump这一数据结构。而这一结构对很多初学者来说往往晦涩难懂，需要掌握RDF和RDFS以及Freebase构图的一定知识。了解好这一部分知识，有助于更好的理解Freebase内数据的构成。

本文分为以下章节：

一、Freebase Dump格式以及其形式化定义

二、Freebase中的类型和属性

三、类型和属性在Freebase中的定义

一、Freebase Dump格式以及其形式化定义

目前Freebase下载地址已迁移至https://developers.google.com/freebase, 其N-Triple 格式的数据下下来约30G，可以直接解压查看，如果磁盘空间不足，使用gunzip工具可以查看其内容，也可以使用Java的GzipInputStream直接读取压缩文件：

gunzip -c freebase-rdf-latest.gz | more

解压后发现数据按行组织，每一行都是一个三元组：

<http://rdf.freebase.com/ns/m.01jzhl>	<http://rdf.freebase.com/ns/type.object.name>	"姚明"@zh	.
<http://rdf.freebase.com/ns/m.01jzhl>	<http://rdf.freebase.com/ns/people.person.profession>	<http://rdf.freebase.com/ns/m.01445t>	.

从左至右依次是Subject(主语)、Predicate(谓词)、Object(“宾语”或者“客体")

w3c上对RDF格式是这样解释的[1]：

the subject, which is an IRI or a blank node
the predicate, which is an IRI
the object, which is an IRI, a literal or a blank node

简单来说，就是主语可以是一个IRI或者是blank node，谓词可以是一个IRI,宾语可以是IRI、blanknode、或者文字。

关于IRI是什么，其全称是Internationalized Resource Identifiers，即国际化资源定位符，可以认为是扩展的URI，不仅可以使用英文，Unicode字符集都可以使用。[2]

例如：<http://rdf.freebase.com/ns/m.01jzhl>是一个IRI，<http://rdf.freebase.com/ns/type.object.name>则是另一个IRI，其定义中并未说明IRI的地址输入浏览器后可以连通，这些IRI仅仅表示这是一种对资源的引用。所以后缀为m.01jzhl的IRI代表的是一个资源，后缀为type.object.name则代表的是另一个资源。

至于文字（Literal）,w3c给出的例子如下[3]:

<http://example.org/show/218> <http://www.w3.org/2000/01/rdf-schema#label> "That Seventies Show"^^<http://www.w3.org/2001/XMLSchema#string> . 
# literal with XML Schema string datatype
<http://example.org/show/218> <http://www.w3.org/2000/01/rdf-schema#label> "That Seventies Show" . # same as above
<http://example.org/show/218> <http://example.org/show/localName> "That Seventies Show"@en . # literal with a language tag
<http://example.org/show/218> <http://example.org/show/localName> "Cette Série des Années Septante"@fr-be .  
# literal outside of ASCII range with a region subtag
<http://example.org/#spiderman> <http://example.org/text> "This is a multi-line\nliteral with many quotes (\"\"\"\"\")\nand two apostrophes ('')." .
<http://en.wikipedia.org/wiki/Helium> <http://example.org/elements/atomicNumber> "2"^^<http://www.w3.org/2001/XMLSchema#integer> . # xsd:integer
<http://en.wikipedia.org/wiki/Helium> <http://example.org/elements/specificGravity> "1.663E-4"^^<http://www.w3.org/2001/XMLSchema#double> .     # xsd:double

这些三元组的最后一元都是文字，可以看到有一部分文字后面有^^标识，有一部分后面有@标识。^^标识后跟随的是一个IRI（dataType IRI），表示该文字的类型[1],@标识后跟随的是文字的语言（language tag）.

网址[3]中还给出了RDF triple扩展的巴科斯范式的文法，具体如下：

[1] 	ntriplesDoc 	::= 	triple? (EOL triple)* EOL?
[2] 	triple 	::= 	subject predicate object '.'
[3] 	subject 	::= 	IRIREF | BLANK_NODE_LABEL
[4] 	predicate 	::= 	IRIREF
[5] 	object 	::= 	IRIREF | BLANK_NODE_LABEL | literal
[6] 	literal 	::= 	STRING_LITERAL_QUOTE ('^^' IRIREF | LANGTAG)?

刚刚提到的triple的定义、subject、predicate、object的定义，文法上都清晰的呈现出来，使用这些规则，可以校验N-Triple文档是否符合规范。

通过这些定义，根据object的不同，可以把freebase的triple分为两大类：

1. object为IRI的：这类triple的主语和宾语都是IRI，其object还会链接向其他的节点，在属性图模型中，这类triple可以认为是图中的一条边。

<http://rdf.freebase.com/ns/m.01jzhl>    <http://rdf.freebase.com/ns/people.person.profession>    <http://rdf.freebase.com/ns/m.01445t>    .

2. object为literal的：这类triple宾语是literal， 其object不会再链接向其他的节点，在属性图模型中，这类triple可以认为是顶点属性。

<http://rdf.freebase.com/ns/m.01jzhl>    <http://rdf.freebase.com/ns/type.object.name>    "姚明"@zh    .

二、Freebase中的类型和属性

先来简单了解一下Freebase数据结构：

整个Freebase数据库是一张大图，每个节点都使用type/object定义，边使用type/link定义。

不同的节点代表不同的实体，使用不同的MID区分。例如“姚明”的MID为m.01jzhl。

一个实体往往有很多边和属性（Property）。比如对于某一个人，可能有姓名、性别、出生日期、个人经历、职业等等属性和边。

一个实体往往有很多类型。比如"姚明"，在Freebase库中的MID是m.01jzhl，有如下条目(忽略前缀)：

<m.01jzhl>  <type.object.type> <people.person> .

与<person.person>相关的，它在freebase中有这样的条目：

<m.01jzhl>	<people.person.profession>	<m.01445t>	.
<m.01jzhl>	<people.person.date_of_birth>	"1980-09-12"^^<http://www.w3.org/2001/XMLSchema#date>	.
<m.01jzhl>	<people.person.education>	<m.0n1k91v>	.
<m.01jzhl>	<people.person.profession>	<m.02h664x>	.
<m.01jzhl>	<people.person.nationality>	<m.0d05w3>	.
<m.01jzhl>	<people.person.parents>	<m.0g5bnz5>	.
<m.01jzhl>	<people.person.place_of_birth>	<m.06wjf>	.
<m.01jzhl>	<people.person.spouse_s>	<m.0j688yq>	.
<m.01jzhl>	<people.person.parents>	<m.0g5bnyy>	.
<m.01jzhl>	<people.person.gender>	<m.05zppz>	.
<m.01jzhl>	<people.person.weight_kg>	"141.0"	.

再比如，姚明还是一位运动员：

<m.01jzhl>	<type.object.type>	<sports.pro_athlete>	.

与运动员相关的，他有如下条目：

<sports.pro_athlete>	<type.type.instance>	<m.01jzhl>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j_ny44>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j2m__w>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0t_6b7s>	.
<m.01jzhl>	<type.object.type>	<sports.pro_athlete>	.
<m.01jzhl>	<sports.pro_athlete.career_start>	"1997"^^<http://www.w3.org/2001/XMLSchema#gYear>	.
<m.01jzhl>	<sports.pro_athlete.sports_played_professionally>	<m.0c55c2z>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j_ny44>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0j2m__w>	.
<m.01jzhl>	<sports.pro_athlete.teams>	<m.0t_6b7s>	.
<m.01jzhl>	<sports.pro_athlete.sports_played_professionally>	<m.0c55c2z>	.

可以简单理解为，在Freebase中，一个实体具有哪些类型的边，往往由其分属哪些类型决定。

三、类型和属性在Freebase中的定义

对于类型和属性，Freebase也有一系列三元组对其进行定义，下列shell脚本可以列出Freebase中的类型：

gunzip -c freebase-rdf-latest.gz |grep 'type.type>'

部分结果摘录如下：

<http://rdf.freebase.com/ns/award.award_winner> <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/award.long_list_nominee>    <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.au.local_government_area>        <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.dj.region>       <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.it.commune>      <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.aareas.schema.pg.province>     <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.banking.investment_scheme>     <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.bioventurist.science_or_technology_company>    <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.birdconservation.topic>        <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .
<http://rdf.freebase.com/ns/base.birdinfo.parasitism>   <http://rdf.freebase.com/ns/type.object.type>   <http://rdf.freebase.com/ns/type.type>  .

这里award.awrad_winner, award.long_list_nominee等都是Freebase的类型。

而还有些类型，则是类似于下列形式（忽略前缀）：

<m.04kr> <type.object.id> "/people/person" .
<m.04kr> <type.object.type> <type.type> .
<m.04kr> <type.type.domain> <m.01z0kpp> .
<m.04kr> <type.type.properties> <m.025d7wc> .
<m.04kr> <freebase.type_hints.included_types> <m.01c5> .
<m.04kr> <base.ontologies.ontology_class.equivalent_classes> <m.04gf613> .

这里m.04kr代表上文提到的<people.person>, 即每种类型同样拥有一个MID，此外类型包含哪些属性可以通过谓词<type.type.properties>查看。对这些信息的详细分析，留待下一节讨论。

相关参考：

[1]w3c RDF1,1 Concept https://www.w3.org/TR/rdf11-concepts/#section-triples

[2]IRI 百度百科 http://baike.baidu.com/item/iri
[3]RDF 1.1 N-Triples:https://www.w3.org/TR/n-triples/

[4]Basic Concepts:http://developers.google.com/freebase/guide/basic_concepts

[5]Freebase.com语义数据库浅析 http://blog.sina.com.cn/s/blog_600791e00100hd4m.html

同时再附几个地址：

freebase data dump:https://developers.google.com/freebase

Freebase 介绍：http://www.ruanyifeng.com/blog/2007/05/freebase_com.html
Freebase再研究 http://www.ruanyifeng.com/blog/2008/04/freebase_reloaded.html

想了解更多的AI技术干货，欢迎上华为云的AI专区，目前有AI编程Python等六大实战营供大家免费学习。（六大实战营link:http://su.modelarts.club/qQB9）