電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>開源軟件-Sogou C++ Workflow高性能C++服務(wù)器引擎

開源軟件-Sogou C++ Workflow高性能C++服務(wù)器引擎

1781530 2022-06-20 | zip | 0.57 MB | 次下載 | 2積分

普通下載普通下載

資料介紹

授權(quán)協(xié)議 Apache-2.0

開發(fā)語言 C/C++

操作系統(tǒng) 跨平臺(tái)

軟件類型開源軟件

所屬分類服務(wù)器軟件、 HTTP服務(wù)器

軟件簡(jiǎn)介

Sogou C++ Workflow 是搜狗公司的 C++ 服務(wù)器引擎，支撐搜狗幾乎所有后端 C++ 在線服務(wù)，包括所有搜索服務(wù)、云輸入法與在線廣告等，每日處理超百億請(qǐng)求。這是一個(gè)設(shè)計(jì)輕盈優(yōu)雅的企業(yè)級(jí)程序引擎，可以滿足大多數(shù) C++ 后端開發(fā)需求。

可以使用該項(xiàng)目：

快速搭建http服務(wù)器：

#include 
#include "workflow/WFHttpServer.h"

int main()
{
    WFHttpServer server([](WFHttpTask *task) {
        task->get_resp()->append_output_body("Hello World!");
    });

    if (server.start(8888) == 0) {  // start server on port 8888
        getchar(); // press "Enter" to end.
        server.stop();
    }

    return 0;
}

作為萬能異步客戶端。目前支持http，redis，mysql和kafka協(xié)議。
實(shí)現(xiàn)自定義協(xié)議client/server，構(gòu)建自己的RPC系統(tǒng)。
- 搜狗RPC就是以它為基礎(chǔ)，作為獨(dú)立項(xiàng)目開源。支持srpc，brpc和thrift等協(xié)議（benchmark）。
構(gòu)建異步任務(wù)流，支持常用的串并聯(lián)，也支持更加復(fù)雜的DAG結(jié)構(gòu)。
作為并行編程工具使用。除了網(wǎng)絡(luò)任務(wù)，我們也包含計(jì)算任務(wù)的調(diào)度。所有類型的任務(wù)都可以放入同一個(gè)流中。
在Linux系統(tǒng)下作為文件異步IO工具使用，性能超過任何標(biāo)準(zhǔn)調(diào)用。磁盤IO也是一種任務(wù)。
實(shí)現(xiàn)任何計(jì)算與通訊關(guān)系非常復(fù)雜的高性能高并發(fā)的后端服務(wù)。
構(gòu)建服務(wù)網(wǎng)格（service mesh）系統(tǒng)。
- 項(xiàng)目?jī)?nèi)置服務(wù)治理與負(fù)載均衡等功能。

編譯和運(yùn)行環(huán)境

項(xiàng)目支持Linux，macOS，Windows等操作系統(tǒng)。
- Windows版暫時(shí)以獨(dú)立branch發(fā)布，使用iocp實(shí)現(xiàn)異步網(wǎng)絡(luò)。用戶接口與Linux版一致。
支持所有CPU平臺(tái)，包括32或64位x86處理器，大端或小端arm處理器。
需要依賴于OpenSSL，推薦OpenSSL 1.1及以上版本。
項(xiàng)目使用了C++11標(biāo)準(zhǔn)，需要用支持C++11的編譯器編譯。但不依賴boost或asio。
項(xiàng)目無其它依賴，但是包含了lz4，zstd和snappy幾個(gè)壓縮庫的無改動(dòng)源代碼（kafka協(xié)議需要）。

系統(tǒng)設(shè)計(jì)特點(diǎn)

典型后端服務(wù)器由以下三個(gè)部分組成，并且完全獨(dú)立開發(fā)。

協(xié)議
- 大多數(shù)情況下，用戶使用的是內(nèi)置的通用網(wǎng)絡(luò)協(xié)議，例如http，redis或各種rpc。
- 用戶可以方便的自定義網(wǎng)絡(luò)協(xié)議，只需提供序列化和反序列化函數(shù)，就可以定義出自己的client/server。
算法
- 在 Sogou C++ Workflow 的設(shè)計(jì)里，算法是與協(xié)議對(duì)稱的概念。
  - 如果說協(xié)議的調(diào)用是rpc，算法的調(diào)用就是一次apc（Async Procedure Call）。
- 提供了一些通用算法，例如sort，merge，psort，reduce，可以直接使用。
- 與自定義協(xié)議相比，自定義算法的使用要常見得多。任何一次邊界清晰的復(fù)雜計(jì)算，都應(yīng)該包裝成算法。
任務(wù)流
- 任務(wù)流就是實(shí)際的業(yè)務(wù)邏輯，就是把開發(fā)好的協(xié)議與算法放在流程圖里使用起來。
- 典型的任務(wù)流是一個(gè)閉合的串并聯(lián)圖。復(fù)雜的業(yè)務(wù)邏輯，可能是一個(gè)非閉合的DAG。
- 任務(wù)流圖可以直接構(gòu)建，也可以根據(jù)每一步的結(jié)果動(dòng)態(tài)生成。所有任務(wù)都是異步執(zhí)行的。

基礎(chǔ)任務(wù)，任務(wù)工廠與復(fù)合任務(wù)

系統(tǒng)中包含六種基礎(chǔ)任務(wù)：通訊，文件IO，CPU，GPU，定時(shí)器，計(jì)數(shù)器。
一切任務(wù)都由任務(wù)工廠產(chǎn)生，并且在callback之后自動(dòng)回收。
- server任務(wù)是一種特殊的通訊任務(wù)，由框架調(diào)用任務(wù)工廠產(chǎn)生，通過process函數(shù)交給用戶。
大多數(shù)情況下，用戶通過任務(wù)工廠產(chǎn)生的任務(wù)，都是一個(gè)復(fù)合任務(wù)，但用戶并不感知。
- 例如，一次http請(qǐng)求，可能包含許多次異步過程（DNS，重定向），但對(duì)用戶來講，就是一次通信任務(wù)。
- 文件排序，看起來就是一個(gè)算法，但其實(shí)包括復(fù)雜的文件IO與CPU計(jì)算的交互過程。
- 如果把業(yè)務(wù)邏輯想象成用設(shè)計(jì)好的電子元件搭建電路，那么每個(gè)電子元件內(nèi)部可能又是一個(gè)復(fù)雜電路。

異步性和基于C++11 std::function的封裝

不是基于用戶態(tài)協(xié)程。使用者需要知道自己在寫異步程序。
一切調(diào)用都是異步執(zhí)行，幾乎不存在占著線程等待的操作。
- 雖然我們也提供一些便利的半同步接口，但并不是核心的功能。
盡量避免派生，以std::function封裝用戶行為，包括：
- 任何任務(wù)的callback。
- 任何server的process。符合FaaS（Function as a Service）思想。
- 一個(gè)算法的實(shí)現(xiàn)，簡(jiǎn)單來講也是一個(gè)std::function。但算法也可以用派生實(shí)現(xiàn)。

內(nèi)存回收機(jī)制

任何任務(wù)都會(huì)在callback之后被自動(dòng)內(nèi)存回收。如果創(chuàng)建的任務(wù)不想運(yùn)行，則需要通過dismiss方法釋放。
任務(wù)中的數(shù)據(jù)，例如網(wǎng)絡(luò)請(qǐng)求的resp，也會(huì)隨著任務(wù)被回收。此時(shí)用戶可通過std::move()把需要的數(shù)據(jù)移走。
SeriesWork和ParallelWork是兩種框架對(duì)象，同樣在callback之后被回收。
項(xiàng)目中不使用std::shared_ptr來管理內(nèi)存。