2010-01-17 10:55:10 
阿炯
它是一个经典的C-library模式的toolkit，为程序员提供广泛丰富的函数集，是为应用程序开发者提供工业级强度的数据库服务而设计的。其主要特点如下：
嵌入式(Embedded)：它直接链接到应用程序中，与应用程序运行于同样的地址空间中，因此，无论是在网络上不同计算机之间还是在同一台计算机的不同进程之间，数据库操作并不要求进程间通讯。它为多种编程语言提供了API接口，其中包括C、C++、Java、Perl、Tcl、Python和PHP，所有的数据库操作都在程序库内部发生。多个进程，或者同一进程的多个线程可同时使用数据库，有如各自单独使用，底层的服务如加锁、事务日志、共享缓冲区管理、内存管理等等都由程序库透明地执行。
轻便灵活(Portable)：它可以运行于几乎所有UNIX和Linux系统及其变种系统、Windows操作系统以及多种嵌入式实时操作系统之下。它在32位和64位系统上均可运行，已经被好多高端的因特网服务器、台式机、掌上电脑、机顶盒、网络交换机以及其他一些应用领域所采用。一旦Berkeley DB被链接到应用程序中，终端用户一般根本感觉不到有一个数据库系统存在。
可伸缩(Scalable)：这一点表现在很多方面。Database library本身是很精简的(少于300KB的文本空间)，但它能够管理规模高达256TB的数据库。它支持高并发度，成千上万个用户可同时操纵同一个数据库。Berkeley DB能以足够小的空间占用量运行于有严格约束的嵌入式系统，也可以在高端服务器上耗用若干GB的内存和若干TB的磁盘空间。
Berkeley DB在嵌入式应用中比关系数据库和面向对象数据库要好，有以下两点原因：
(1)、因为数据库程序库同应用程序在相同的地址空间中运行，所以数据库操作不需要进程间的通讯。在一台机器的不同进程间或在网络中不同机器间进行进程通讯所花费的开销，要远远大于函数调用的开销；
(2)、因为Berkeley DB对所有操作都使用一组API接口，因此不需要对某种查询语言进行解析，也不用生成执行计划，大大提高了运行效。
系统结构
Berkeley DB由五个主要的子系统构成.包括：存取管理子系统、内存池管理子系统、事务子系统、锁子系统以及日志子系统。其中存取管理子系统作为Berkeley DB数据库进程包内部核心组件，而其他子系统都存在于Berkeley DB数据库进程包的外部。每个子系统支持不同的应用级别。
1.数据存取子系统
数据存取(Access Methods)子系统为创建和访问数据库文件提供了多种支持。Berkeley DB提供了以下四种文件存储方法：哈希文件、B树、定长记录(队列)和变长记录(基于记录号的简单存储方式)，应用程序可以从中选择最适合的文件组织结构。程序员创建表时可以使用任意一种结构，并且可以在同一个应用程序中对不同存储类型的文件进行混合操作。
在没有事务管理的情况下，该子系统中的模块可单独使用，为应用程序提供快速高效的数据存取服务。数据存取子系统适用于不需事务只需快速格式文件访问的应用。
2.内存池管理子系统
内存池(Memory pool)子系统对Berkeley DB所使用的共享缓冲区进行有效的管理。它允许同时访问数据库的多个进程或者进程的多个线程共享一个高速缓存，负责将修改后的页写回文件和为新调入的页分配内存空间；它也可以独立于Berkeley DB系统之外，单独被应用程序使用，为其自己的文件和页分配内存空间。内存池管理子系统适用于需要灵活的、面向页的、缓冲的共享文件访问的应用。
3.事务子系统
事务(Transaction)子系统为Berkeley DB提供事务管理功能。它允许把一组对数据库的修改看作一个原子单位，这组操作要么全做，要么全不做。在默认的情况下，系统将提供严格的ACID事务属性，但是应用程序可以选择不使用系统所作的隔离保证。该子系统使用两段锁技术和先写日志策略来保证数据库数据的正确性和一致性。它也可以被应用程序单独使用来对其自身的数据更新进行事务保护。事务子系统适用于需要事务保证数据的修改的应用。
4.锁子系统
锁(Locking)子系统为Berkeley DB提供锁机制，为系统提供多用户读取和单用户修改同一对象的共享控制。数据存取子系统可利用该子系统获得对页或记录的读写权限；事务子系统利用锁机制来实现多个事务的并发控制。该子系统也可被应用程序单独采用。锁子系统适用于一个灵活的、快速的、可设置的锁管理器。
5.日志子系统
日志(Logging)子系统采用的是先写日志的策略，用于支持事务子系统进行数据恢复，保证数据一致性。 它不大可能被应用程序单独使用，只能作为事务子系统的调用模块。
存储功能概述
Berkeley DB所管理数据的逻辑组织单位是若干个独立或有一定关系的数据库(database)，每个数据库由若干记录组成，这些记录全都被表示成(key，value)的形式。如果把一组相关的(key，value)对也看作一个表的话，那么每一个数据库只允许存放一个table，这一点不同于一般的关系数据库。实际上，在Berkeley DB中所提到的“数据库”，相当于一般关系数据库系统中的表；而“key/data”对相当于关系数据库系统中的行(rows)；Berkeley DB不提供关系数据库中列直接访问的功能，而是在“key/data”对中的data项中通过实际应用来封装字段(列)。
在物理组织上，每一个数据库在创建的时候可以由应用程序根据其数据特点来选择一种合适的存储结构。可供选择的四种文件存储结构分别是：哈希文件、B树、定长记录(队列)和变长记录(基于记录号的简单存储方式)。
一个物理的文件中可以只存放一个单独的数据库，也可以存放若干相关或不相关的数据库，而且这些数据库可以分别采用除队列之外任意不同的组织方式，以队列组织的数据库只能单独存放于一个文件，不能同其他存储类型混合存放。
一个文件除了受最大文件长度和存储空间的约束之外，理论上可以存储任意多个数据库。因此系统定位一个数据库通常需要两个参数——“文件名”和“数据库名”，这也是Berkeley DB不同于一般关系数据库的地方。
Berkeley DB存储系统为应用程序提供了一系列的接口函数，用于对数据库的管理和操作。其中包括：
(1)数据库的创建、打开、关闭、删除、重命名等，以及对数据的检索和增删改操作；
(2)提供一些附加的功能，例如读取数据库状态信息、读取所在文件的信息、读取所在数据库环境的信息、清空数据库的内容、数据库的同步备份、版本升级、提示出错信息等等；
(3)系统还提供了游标机制，用于存取和访问成组的数据，以及对两个或多个相关数据库进行关联和等值连接操作；
(4)系统还给出了一些接口函数用于对存取策略进行优化配置，比如应用程序可以自己设置B树的排序比较函数、每页中存放key的最少数目，哈希桶的填充因子、哈希函数、哈希表最大长度，队列的最大长度，数据库存放的字节顺序，底层存储页的大小，内存分配函数，高速缓存的大小，定长记录的大小和填充位，变长记录所用的分隔符等等。
像MySQL这类基于C/S结构的关系型数据库系统虽然代表着目前数据库应用的主流，但却并不能满足所有应用场合的需要。有时我们需要的可能只是一个简单的基于磁盘文件的数据库系统。这样不仅可以避免安装庞大的数据库服务器，而且还可以简化数据库应用程序的设计。Berkeley DB正是基于这样的思想提出来的。
Storage structures
There are four different storage structures that can be chosen for a Berkeley DB database:
Hash Tables
In a hash table each record is identified by a unique key. Hash Tables are usually preferred for very large databases that need predictable access and update times.
Btrees
Btrees allow to select all the existing records where the keys are in a given range. The tree structure keeps physically close records with keys that have close values
Record-number-based
This kind of storage is provided for applications that identify records by a record number. It is like a Hash Table where the key is the record number. Berkeley DB automatically generated the record number when a new record is stored in the database.
Queues
Queues are suitable for applications that create records, and then need to process them in the order they were created. A good example is an on-line purchasing system. Orders can enter the system at any time, but they should be processed in the order they were received.
关键字和数据
关键字(Key)和数据(Data)是Berkeley DB用来进行数据库管理的基础，由这两者构成的Key/Data对(见表1)组成了数据库中的一个基本结构单元，而整个数据库实际上就是由许多这样的结构单元所构成的。通过使用这种方式，开发人员在使用Berkeley DB提供的API来访问数据库时，只需提供关键字就能够访问到相应的数据。
Key Data
sport football
Fruit orange
Drink beer
表1 Key/Data对
如果想将第一行中的“sport”和“football”保存到Berkeley DB数据库中，可以调用Berkeley DB函数库提供的数据保存接口。此时“sport”和“football”将分别当成关键字和数据来看待。之后如果需要从数据库中检索出该数据，可以用“sport”作为关键字进行查询。此时Berkeley DB提供的接口函数会返回与之对应的数据“football”。
关键字和数据在Berkeley DB中都是用一个名为DBT的简单结构来表示的。实际上两者都可以是任意长度的二进制数据，而DBT的作用主要是保存相应的内存地址及其长度，其结构如下所示：
typedef struct {
void *data;
u_int32_t size;
u_int32_t ulen;
u_int32_t dlen;
u_int32_t doff;
u_int32_t flags;
} DBT;
在使用Berkeley DB进行数据管理时，缺省情况下是一个关键字对应于一个数据，但事实上也可以将数据库配置成一个关键字对应于多个数据。
对象句柄
在Berkeley DB函数库定义的大多数函数都遵循同样的调用原则：首先创建某个结构，然后再调用该结构中的某些方法。从程序设计的角度来讲，这一点同面向对象的设计原则是非常类似的，即先创建某个对象的一个实例，然后再调用该实例的某些方法。正因如此，Berkeley DB引入了对象句柄的概念来表示实例化后的结构，并且将结构中的成员函数称为该句柄的方法。
对象句柄的引入使得程序员能够完全凭借面向对象的思想，来完成对Berkeley DB数据库的访问和操作，即使当前使用的是像C这样的结构化语言。例如，对于打开数据库的操作来说，可以调用DB的对象句柄所提供的open函数，其原型如下所示：
int DB->open(DB *db, DB_TXN *txnid, const char *file,
const char *database, DBTYPE type, u_int32_t flags, int mode);
错误处理
对于任何一个函数库来说，如何对错误进行统一的处理都是需要考虑的问题。Berkeley DB提供的所有函数都遵循同样的错误处理原则，即函数成功执行后返回零，否则的话则返回非零值。
对于系统错误(如磁盘空间不足和访问权限不够等)，返回的是一个标准的值;而对于非系统错误，返回的则是一个特定的错误编码。例如，如果在数据库中没有与某个特定关键字所对应的数据，那么在通过该关键字检索数据时就会出现错误。此时函数的返回值将是DB_NOTFOUND，表示所请求的关键字并没有在数据库中出现。所有标准的errno值都是大于零的，而由Berkeley DB定义的特殊错误编码则都是小于零的。
要求程序员记住所有的错误代号既不现实也没有什么实际意义，因为Berkeley DB提供了相应的函数来获得错误代号所对应的错误描述。一旦有错误发生，只需首先调用db_strerror()函数来获得错误描述信息，然后再调用DB->err()或DB->errx()就可以很轻松地输出格式化后的错误信息。
应用统一的编程接口
使用Berkeley DB提供的函数来进行数据库的访问和管理并不复杂，在大多数场合下只需按照统一的接口标准进行调用就可以完成最基本的操作。
打开数据库
打开数据库通常要分两步进行：首先调用db_create()函数来创建DB结构的一个实例，然后再调用DB->open()函数来完成真正的打开操作。Berkeley DB将所有对数据库的操作都封装在名为DB的结构中。db_create()函数的作用就是创建一个该结构，其原型如下所示：
typedef struct__db DB;
int db_create(DB **dbp, DB_ENV *dbenv, u_int32_t flags);
将磁盘上保存的文件作为数据库打开是由DB->open()函数来完成的，其原型如下所示：
int DB->open(DB *db, DB_TXN *txnid, const char *file,
const char *database, DBTYPE type, u_int32_t flags, int mode);
在Berkeley DB下，如果开启了AUTO_COMMIT(所有独立的写操作自动具有事务语义)并使用默认的同步级别(日志完全同步到硬盘才返回)，写一条记录的耗时大约为5~10ms级别，基本和一次IO操作(10ms)的耗时相同。我们已经知道，在同步上fsync是低效的。但是如果需要使用fdatasync减少对metadata的更新，则需要确保文件的尺寸在write前后没有发生变化。日志文件天生是追加型(append-only)的，总是在不断增大，似乎很难利用好fdatasync。
且看Berkeley DB是怎样处理日志文件的：
1.每个log文件固定为10MB大小，从1开始编号，名称格式为“log.%010d"
2.每次log文件创建时，先写文件的最后1个page，将log文件扩展为10MB大小
3.向log文件中追加记录时，由于文件的尺寸不发生变化，使用fdatasync可以大大优化写log的效率
4.如果一个log文件写满了，则新建一个log文件，也只有一次同步metadata的开销
小结
Berkeley DB这个嵌入式数据库系统使用非常简单。它没有数据库服务器的概念，也不需要复杂的SQL语句，所有对数据的操作和管理都可以通过函数调用来完成，非常适合于那些需要对数据进行简单管理的应用场合。
Berkeley DB是由美国Sleepycat Software公司开发的一套开放源码的嵌入式数据库的程序库(database library)，它为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。Berkeley DB为数据的存取和管理提供了一组简洁的函数调用API接口。 数据库巨人Oracle在2006年2月14日宣布已经收购 Sleepycat，并将BerkeleyDB数据库纳入了自己的嵌入式数据库产品线。
优缺点
1.Sleepycat软件公司出品的Berkeley DB是一种在特定的数据管理应用程序中广泛使用的数据库系统,在世界范围内有超过两亿的用户支持.许多世界知名的厂商,像Amazon, AOL, British Telecom, Cisco Systems, EMC, Ericsson, Google, Hitachi, HP, Motorola, RSA Security, Sun Microsystems, TIBCO 以及 Veritas都依赖于BDB为他们的许多关键性应用提供快速的,弹性的,可靠的,并且高性价比的数据管理.。
2.以下是chinaunix.net上一位高手给出的解释，在这里引用一下。 mysql就是用BDB实现的(mysql的后台) 。mysql快，BDB比mysql还要快N倍。 BDB并发高于RDBMS。容量支持可达256TB。基于HASH支持select数据比RDBMS快。
3.BDB数据库与其它的几种数据库的比较。 BDB数据库不同与其他几种数据库–关系型(Relational databases)，面向对象型(Object-oriented databases)，网络数据库(Network databases)，它是一种嵌入式(embeded databases)数据库。
下面先简要说说BDB与其它几种数据库的区别：(1)它们几乎都无一例外的采用了结构化查询语言(SQL)，而BDB没有。(2)它们几乎都无一例外的采用了客户/服务器模型，而BDB采用的是嵌入式模型。
4. 下面是在网上找的一些有关BDB的资料,解释了BDB之所以会和当前流行的大多数数据库不同的一些原因,所引资料未注明出处,后面的翻译是我自己加的：
(1)、BDB是一个开放源代码的嵌入式数据库的函数库，它为应用程序提供弹性的，高性能的，transaction-protected的数据库管理服务，BDB为数据的访问和管理提供了简单的应用程序接口API。
(2)、BDB之所以是嵌入式数据库是因为它是直接连到应用程序中的。它和应用程序在同一内存空间运行。其结果是，不管应用程序是运行在同一台机器上还是运行在网络上，在进行数据库操作时，它都无需进行进程间通信。BDB为许多编程语言提供了函数接口，这些语言包括C, C++, Java, Perl, Tcl, Python, 和 PHP。所有的数据库操作都发生在函数库内部。多个进程，或者是一个进程中的多个线程，都可以同时使用BDB，因为它们实际是在调用BDB函数库。一些像 locking, transaction logging, shared buffer management, memory management等等之类的低级服务都可以由函数库透明地处理。
(3)、BDB函数库是高度可移植的。它可以运行在几乎所有的UNIX和LINUX系统之上，也支持WINDOWS和多种嵌入式实时操作系统。它既可以运行在32位系统上，也可以运行在64位系统上。它活跃在高端服务器，桌面系统，掌上电脑，set-top boxes，网络交换机以及其它的一些领域。一旦BDB被连接到应用当中以后，终端用户一般是不知道后端数据库的存在的。
(4)、BDB在许多方面都是弹性的。函数库本身非常紧凑(在常见的机器体系上大约只占用不到300K的text空间，但是它可以操作多达 256TB的数据。它也支持高强度的并发操作，可以同时允许数以千计的用户在同一个数据库进行操作。在高端服务器领域，BDB是足够小的，它可以在高度受限的嵌入式系统上运行，但却可以利用高达GB量级的内存空间和高达TB量级的磁盘空间。
(5)、BDB在嵌入式应用方面的性能比关系型数据库和面向对象的数据库优越的原因是多方面的。首先，因为函数库和应用是运行在同一地址空间中的，省掉了数据库操作时的进程间通信。而众所周知，不管是在单机上还是在分布式系统上，进程间通信所花的时间远多于函数调用所要的时间。其次，因为BDB 对所有的操作提供了简洁的函数调用接口，无需对查询语言进行解析，也不需要预执行。
(6)、与其他大多数数据库系统相比，BDB提供了相对简单的数据访问服务。BDB只支持对记录所做的几种逻辑操作。它们是：
在表中插入一条记录。从表中删除一条记录，通过查询键(key)从表中查找一条记录。更新表中已有的一条记录。 BDB不是一个独立的数据库服务器。它是一个函数库，和调用它的应用程序是运行在同一地址空间中的。可以把BDB作为数据库管理系统来构建服务器程序。比如，有许多商业的和开源的轻量级目录访问协议(LDAP)服务器都使用BDB存储记录。LDAP客户端通过网络连接到服务器。服务器调用 BDB的API来查找记录并返回给客户。而在它本身而言，BDB却不是数据库的服务器端。所以，BDB是一种完全不同于其它数据库管理系统的数据库，而且它也不是一个数据库服务器端。
当面对的是对性能，规模和可靠性要求都比较高的嵌入式应用的时候，BDB是理想的数据库管理系统。但对于要求多种不同服务的应用而言，选择它是不适当的。 BDB 的初衷是提供快速的，可靠的，transaction-protected的记录存储。函数库本身并没有提供对交互查询的支持，也没有提供图形化的报表工具，或者一些其它的数据库管理系统提供的服务。我们一直在致力于保持函数库的短小和简练，这样做，可以使得bug出现的机会大大减小，而且因为只有很少的代码需要执行，我们可以保证数据库一直快速的运行。如果你的应用正好需要的是这样的一套功能的话，那么BDB几乎一定是你的首选对象。
5.BDB之所以适合LDAP,一个关键的因素是它可以保证LDAP的快速响应.因为BDB本身是一种嵌入式的数据库,速度快是它最大的特点,也是它和其他数据库系统相比最大的优势.我们再来看LDAP,LDAP是一种一旦数据建立就很少需要改动的数据库,并且它最常用的操作是读取,查询,搜索等等不改变数据库内容的操作.而让BDB来做这几种事情无疑是最好的选择.这样,即使在有大量用户提交数据库查询的情况下,LDAP仍能快速反馈给用户有用信息.所以,速度的考虑是LDAP选用BDB的最大因素.这也是目前绝大多数的LDAP服务器都选用BDB的根本原因。