還只會(huì)用json和xml？是時(shí)候掌握Google Protocol Buffer了

Protocol Buffer是一種免費(fèi)開(kāi)源的跨平臺(tái)輕量級(jí)高效結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)格式，可以編譯成各種語(yǔ)言的代碼，包括C++、Java、C#、Python等等。在平時(shí)的開(kāi)發(fā)中，我們經(jīng)常會(huì)用到j(luò)son和xml這兩種數(shù)據(jù)存儲(chǔ)格式。不過(guò)，Protocol Buffer相比于它們更加的簡(jiǎn)單，序列化和反序列化的速度更快，數(shù)據(jù)體積更加小，簡(jiǎn)單上手，這樣的工具誰(shuí)不愛(ài)呢？目前，也已經(jīng)有很多大廠在將其應(yīng)用到自己的項(xiàng)目之中。真的是Google出品，必屬精品啊！是不是已經(jīng)迫不及待想要嘗試一下？

安裝

在使用Protocol Buffer之前，我們需要先安裝它。不過(guò)，由于某些原因大陸無(wú)法直接訪問(wèn)官方下載，我們可以從github上進(jìn)行下載。大家也可在下方留言或私信獲取。

github下載地址：https://github.com/protocolbuffers/protobuf/releases

linux平臺(tái)安裝

我們選擇一個(gè)版本的cpp版本的壓縮包，以protobuf-cpp-3.17.3.tar.gz為例，將下載的壓縮包放到/var目錄下并進(jìn)行解壓，解壓命令如下：

tar -zxvf protobuf-cpp-3.17.3.tar.gz

解壓

進(jìn)入解壓后的protobuf-3.17.3目錄，查看目錄中是否有configure可執(zhí)行文件，如果沒(méi)有，可以通過(guò)執(zhí)行./autogen.sh生成。

protobuf

接下來(lái)執(zhí)行下面的命令進(jìn)行配置、編譯和安裝，編譯過(guò)程需要一定的時(shí)間，大家要耐心等待。這里注意我們的環(huán)境需要事先安裝好g++和make工具，否則就要悲劇了～

./configure --prefix=/usr/local/protobuf
make
make install

安裝完成后，我們還需要將安裝目錄在/etc/profile文件中添加到環(huán)境變量（如下），然后，執(zhí)行source /etc/profile即可生效。

export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/

當(dāng)然，為了安全考慮，我們還可以在當(dāng)前用戶的~/.bashrc中添加。

環(huán)境變量配置完成后，我們就可以使用protoc --version進(jìn)行查看是否安裝成功了。

version

Windows安裝：方法一

對(duì)于Windows版本，已經(jīng)預(yù)編譯生成了protoc可執(zhí)行程序并發(fā)布了出來(lái)，如果僅僅只是在window平臺(tái)下編寫消息格式并生成對(duì)應(yīng)格式的源碼，就直接下載protoc可執(zhí)行程序即可。

我們選擇對(duì)應(yīng)Windows版本的release包下載，再把下載完成后的壓縮包對(duì)其進(jìn)行解壓。這里為了方便測(cè)試我就解壓到了C:protoc目錄下。

protoc-win

解壓后，我們可以發(fā)現(xiàn)會(huì)有兩個(gè)子目錄分別是bin和include。其中，protoc編譯器執(zhí)行程序就在bin目錄里。接下來(lái)，我們需要將剛剛解壓好的bin子目錄地址添加到環(huán)境變量PATH中，添加完成后就可以使用了。

環(huán)境變量Path

執(zhí)行protoc --version可以查看版本信息，檢查是否安裝成功。

version

Windows安裝：方法二

當(dāng)然，如果需要在Windows平臺(tái)進(jìn)行基于Protocol Buffer的應(yīng)用編譯的話，還需要根據(jù)源代碼制作lib庫(kù)和頭文件，因?yàn)闆](méi)有Protocol Buffer的庫(kù)和相應(yīng)的頭文件的話，我們的應(yīng)用是沒(méi)法編譯通過(guò)的。

接下來(lái)，我們一起探究如何編譯protocol buffer的源碼并安裝，大家一定事先準(zhǔn)備好CMake和VS哦！

由于我們下載的是最新3.17.3版本的源碼，它需要c++11支持，因此，需要安裝VS2015以上的版本。這點(diǎn)很重要，會(huì)省掉很多不必要的麻煩。

對(duì)于CMake，我們可以在命令行中執(zhí)行cmake --version，確認(rèn)是否配置好環(huán)境變量，否則需要將cmake的安裝目錄加到環(huán)境變量中。

cmake

環(huán)境準(zhǔn)備好之后，我們就可以開(kāi)工啦！

同樣的我們需要先解壓源碼壓縮包protobuf-cpp-3.17.3.tar.gz，打開(kāi)VS的開(kāi)發(fā)命令行Developer Command Prompt（我們可以從開(kāi)始菜單中查找），進(jìn)入源碼的cmake目錄。

Developer Command Prompt

由于不同的工程有不同的配置，我們需要?jiǎng)?chuàng)建一個(gè)目錄build來(lái)存放cmake生成的工程配置。

mkdir build & cd build

接下來(lái)，我們就可以使用CMake工具構(gòu)建VS工程啦！

這里我們以VS2019為例，執(zhí)行下面的命令：

mkdir vs2019 & cd vs2019
cmake -G "Visual Studio 16 2019" ^
-DCMAKE_INSTALL_PREFIX=../../../../install ^
../..

如下圖，VS工程就在vs2019目錄下生成成功啦！

vs2019工程目錄

如下圖，在CMake構(gòu)建工程的過(guò)程中可能出現(xiàn)找不到編譯器的情況，就有可能是VS2019缺少某些包導(dǎo)致，檢查是否安裝相應(yīng)的安裝包。

找不到編譯器

這里因?yàn)槿鄙倭薈RT SDK沒(méi)有安裝導(dǎo)致了這種錯(cuò)誤，安裝之后，問(wèn)題解決。

CRT SDK

現(xiàn)在我們就可以使用VS2019打開(kāi)protobuf.sln，在Build菜單中選擇Build Solution對(duì)整個(gè)工程進(jìn)行編譯。等待片刻之后，整個(gè)工程即可編譯完成。

編譯成功

現(xiàn)在我們就可以到編譯輸出目錄（這里是Debug目錄）將生成的靜態(tài)庫(kù)libprotobufd.lib libprotocd.lib以及可執(zhí)行程序protoc.exe取出使用了。

靜態(tài)庫(kù)和可執(zhí)行程序

我們可以把編譯生成的protoc.exe放在C:protocprotoc-3.17.3-debugbin目錄,libprotobufd.lib libprotocd.lib兩個(gè)靜態(tài)庫(kù)放在C:protocprotoc-3.17.3-debuglib目錄。然后，再將這兩個(gè)目錄添加到環(huán)境變量中。

如果你按照方法一已經(jīng)安裝過(guò)官方編譯好的protoc.exe，別忘了將方法一配置的環(huán)境變量刪掉。

我們知道只有靜態(tài)庫(kù)沒(méi)有頭文件是沒(méi)法使用的，所以還需要相應(yīng)的頭文件。在vs2019目錄下已經(jīng)生成了一個(gè)腳本extract_includes.bat，我們只需運(yùn)行此腳本，便會(huì)生成一個(gè)include文件夾，我們將其復(fù)制到C:protocprotoc-3.17.3-debug目錄下，并將其添加到環(huán)境變量中即可。

生成頭文件

安裝好了之后，我們來(lái)看看如何使用protocol buffer呢？準(zhǔn)備好，要開(kāi)始上代碼啦！

消息格式

首先，需要定義一個(gè)消息格式。新建一個(gè)文件hello.proto用來(lái)自定義一個(gè)消息格式，添加內(nèi)容如下：

syntax = 'proto3';

package msg;

message helloworld{

int32 id = 1 ;
string str = 2;
optional int32 opt = 3;

}

proto文件可以用來(lái)定義消息數(shù)據(jù)類型，文件開(kāi)頭的syntax可以指定proto3或proto2,缺省情況下是proto2。

正如上面我們定義的消息格式，在定義消息時(shí)，消息中的每一個(gè)字段需要有如下部分組成：

• 數(shù)據(jù)類型（field type）
• 名字(field name)
• 標(biāo)識(shí)號(hào)(unique number)
• 字段規(guī)則

上面的helloworld數(shù)據(jù)類型中使用了int32和string兩種類型，當(dāng)然，它不僅支持使用一些簡(jiǎn)單的數(shù)據(jù)類型，也可以支持使用自定義的數(shù)據(jù)類型以及枚舉類型等。下表是一些常見(jiàn)的數(shù)據(jù)類型：

數(shù)據(jù)類型

標(biāo)識(shí)號(hào)是指每個(gè)字段都需要一個(gè)唯一的編號(hào)，它決定了數(shù)據(jù)的二進(jìn)制數(shù)據(jù)的格式，而且一旦消息被使用之后，這個(gè)值是不能被修改的。

大家應(yīng)該發(fā)現(xiàn)在上面的helloworld消息中，字段定義中并沒(méi)有字段規(guī)則，這是什么原因？

字段在定義時(shí)除了類型，名字和標(biāo)識(shí)號(hào)之外，還需要一個(gè)字段規(guī)則作為修飾符，在proto3中字段規(guī)則主要有以下2種：

• singular：它是proto3的默認(rèn)規(guī)則，可以設(shè)置也可以不設(shè)置它的值
• repeated: 可以認(rèn)為是動(dòng)態(tài)分配的數(shù)組

不過(guò)，對(duì)于proto2除了repeated還有下面2種：

• optional: 可以設(shè)置，也可以不設(shè)置它的值，這個(gè)是和proto3里的singular是類似的；
• required: 必須設(shè)置它的值

生成源碼

定義好了消息格式后，之前安裝的protoc編譯器就可以派上用場(chǎng)啦！protoc編譯器通過(guò)這個(gè)格式文件，就可以生成對(duì)應(yīng)語(yǔ)言的源代碼，這里我們選擇生成的是C++的源碼?？梢允褂萌缦旅钌蒀++源碼：

protoc -I=. --cpp_out=. hello.proto
注意，命令中的幾個(gè)參數(shù)：

• -I指明了.proto文件所在的具體目錄，如果省略這個(gè)參數(shù)，則使用當(dāng)前的目錄；
• 參數(shù)--cpp_out=./是指定在當(dāng)前目錄生成c++源碼文件；
• hello.proto是我們定義的消息格式文件。

所以，在hello.proto之前是有一個(gè)空格的哦！

生成源碼

命令執(zhí)行完成后，我們將會(huì)在消息格式目錄下面找到生成的源碼文件hello.pb.cc和hello.pb.h。

源碼文件

對(duì)于這一部分linux和Windows平臺(tái)區(qū)別不大。

讀寫消息

一切已經(jīng)就緒，就差一個(gè)栗子了，哈哈！下面我就可以使用生成的源碼進(jìn)行讀寫數(shù)據(jù)了。這里我們將編寫這樣一個(gè)例子，將數(shù)據(jù)寫到hello.data文件中，然后再將文件中的內(nèi)容讀取出來(lái)。廢話不多說(shuō)，直接上代碼！

// test.cpp

#include <iostream>
#include <fstream>
#include "hello.pb.h"

int main()
{
msg::helloworld m1;
m1.set_id(1);
m1.set_str("hello world");
m1.set_opt(3);

std::fstream f1("hello.data", std::ios::out | std::ios::trunc | std::ios::binary);
if(!m1.SerializeToOstream(&f1))
{
std::cout << "save data error" << std::endl;
return -1;
}
f1.close();
std::cout << "write data to hello.data successfully!!!" << std::endl;
std::cout << std::endl;

std::fstream f2("hello.data", std::ios::in | std::ios::binary);
msg::helloworld m2;
if(!m2.ParseFromIstream(&f2))
{
std::cout << "parse data error" << std::endl;
return -1;
}
f2.close();

std::cout << "read data from hello.data" << std::endl;
std::cout << "id = " << m2.id() << std::endl;
std::cout << "std = " << m2.str() << std::endl;
std::cout << "opt = " << m2.opt() << std::endl;

return 0;
}

大家有沒(méi)有發(fā)現(xiàn)？這里我們可以很方便的調(diào)用生成的API對(duì)數(shù)據(jù)進(jìn)行操作，是不是簡(jiǎn)單而又方便？

編譯和運(yùn)行

想必大家應(yīng)該已經(jīng)知道到最終的輸出結(jié)果是什么了吧？我們將自動(dòng)生成的消息代碼hello.pb.cc hello.pb.h和測(cè)試代碼test.cpp放到一起，通過(guò)c++編譯器生成一個(gè)可執(zhí)行文件，看看是不是如大家所想的那樣？

下面我們分別用Linux平臺(tái)和Windows平臺(tái)驗(yàn)證一下結(jié)果。

Linux平臺(tái)

我們?cè)谏厦娴陌惭b這一步驟中已經(jīng)配置好protocol buffer的Linux平臺(tái)開(kāi)發(fā)環(huán)境，將源碼按照下面的命令進(jìn)行編譯即可。

g++ hello.pb.cc test.cpp -o test `pkg-config --cflags --libs protobuf` -lprotobuf -std=c++11 -lpthread

這里需要注意的是，在編譯時(shí)需要添加-lprotobuf -std=c++11 -lpthread等參數(shù)，否則會(huì)有驚喜出現(xiàn)哦！

一切順利，最終生成了可執(zhí)行文件test，我們?cè)賵?zhí)行./test看看結(jié)果如何？

結(jié)果

最后，再來(lái)看一下我的測(cè)試工程目錄結(jié)構(gòu)：

工程目錄

windows平臺(tái)

我們使用vs2019創(chuàng)建一個(gè)新項(xiàng)目test，并將hello.pb.cc hello.pb.h和測(cè)試代碼test.cpp添加到工程中。

test工程

接下來(lái)，我們還需要再對(duì)工程進(jìn)行一些配置，首先將之前生成的頭文件目錄和靜態(tài)鏈接庫(kù)目錄配置到項(xiàng)目屬性中。

添加頭文件和靜態(tài)庫(kù)目錄

然后，再添加依賴，將libprotobufd.lib libprotocd.lib兩個(gè)靜態(tài)庫(kù)名字添加到依賴中。（Linker -> Input -> Additional Dependencies）

添加依賴

由于之前的protocol buffer工程的運(yùn)行庫(kù)是MTD方式，如果要使用其生成的靜態(tài)庫(kù)就需要當(dāng)前的工程相匹配，因此，這里我們也選擇MTD方式，否則，在鏈接時(shí)將會(huì)出現(xiàn)運(yùn)行時(shí)不匹配的錯(cuò)誤。

Runtime Library

最后，編譯完成后，運(yùn)行觀察結(jié)果。

運(yùn)行結(jié)果

至此，大家都應(yīng)該已經(jīng)學(xué)會(huì)如何使用protocol buffer了吧？

最后

無(wú)疑protocol buffer是一個(gè)非常強(qiáng)大的存在，廣受眾多開(kāi)發(fā)者的一致好評(píng)。然而，世界上沒(méi)有絕對(duì)完美的東西，protocol buffer也是如此。由于protocol buffer是以二進(jìn)制的方式進(jìn)行存儲(chǔ)的，在可讀性方面就沒(méi)那么友好了，它就無(wú)法像xml那樣進(jìn)行直接的編輯和修改。當(dāng)然，工具是死的人是活的，只要我們知道.proto文件的格式，我們就可以通過(guò)工具對(duì)其進(jìn)行修改，來(lái)提高便利性。