实现HTTP协议Get、Post和文件上传功能——使用libcurl接口实现

之前我们已经详细介绍了WinHttp接口如何实现Http的相关功能。本文我将主要讲解如何使用libcurl库去实现相关功能。（转载请指明出于breaksoftware的csdn博客）

libcurl在http://curl.haxx.se/libcurl/有详细的介绍，有兴趣的朋友可以去读下。本文我只是从实际使用的角度讲解其中的一些功能。

libcurl中主要有两个接口类型：CURL和CURLM。CURL又称easy interface，它接口简单、使用方便，但是它是一个同步接口，我们不能使用它去实现异步的功能——比如下载中断——其实也是有办法的（比如对写回调做点手脚）。相应的，CURLM又称multi interface，它是异步的。可以想下，我们使用easy interface实现一个HTTP请求过程，如果某天我们需要将其改成multi interface接口的，似乎需要对所有接口都要做调整。其实不然，libcurl使用一种优雅的方式去解决这个问题——multi interface只是若干个easy interface的集合。我们只要把easy interface指针加入到multi interface中即可。

CURLMcode curl_multi_add_handle(CURLM *multi_handle, CURL *easy_handle);

本文将使用multi interface作为最外层的管理者，具体下载功能交给easy interface。在使用easy interface之前，我们需要对其初始化

初始化

初始化easy interface

bool CHttpRequestByCurl::Prepare() {bool bSuc = false;do {if (!m_pCurlEasy) {m_pCurlEasy = curl_easy_init();}if (!m_pCurlEasy) {break;}

初始化multi interface

            if (!m_pCurlMulti){m_pCurlMulti = curl_multi_init();}if (!m_pCurlMulti) {break;}

设置

设置过程回调

过程回调用于体现数据下载了多少或者上传了多少

		CURLcode easycode;easycode = curl_easy_setopt( m_pCurlEasy, CURLOPT_NOPROGRESS, 0 );CHECKCURLEASY_EROORBREAK(easycode);easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_PROGRESSFUNCTION, progresscallback);CHECKCURLEASY_EROORBREAK(easycode);easycode = curl_easy_setopt( m_pCurlEasy, CURLOPT_PROGRESSDATA, this );CHECKCURLEASY_EROORBREAK(easycode);

设置CURLOPT_NOPROGRESS代表我们需要使用过程回调这个功能。设置CURLOPT_PROGRESSFUNCTION为progresscallback是设置回调函数的指针，我们将通过静态函数progresscallback反馈过程状态。注意一下这儿，因为libcurl是一个C语言API库，所以它没有类的概念，这个将影响之后我们对各种静态回调函数的设置。此处要求progresscallback是一个静态函数——它也没有this指针，但是libcurl设计的非常好，它留了一个用户自定义参数供我们使用，这样我们便可以将对象的this指针通过CURLOPT_PROGRESSDATA传过去。

	int CHttpRequestByCurl::progresscallback( void *clientp, double dltotal, double dlnow, double ultotal, double ulnow ) {if (clientp) {CHttpRequestByCurl* pThis = (CHttpRequestByCurl*)clientp;return pThis->ProcessCallback(dltotal, dlnow);}else {return -1;}}int CHttpRequestByCurl::ProcessCallback( double dltotal, double dlnow ) {if ( m_CallBack ) {const DWORD dwMaxEslapeTime = 500;std::ostringstream os;os << (unsigned long)dlnow;std::string strSize = os.str();std::ostringstream ostotal;ostotal << (unsigned long)dltotal;std::string strContentSize = ostotal.str();DWORD dwTickCount = GetTickCount();if ( ( 0 != ((unsigned long)dltotal)) && ( strSize == strContentSize || dwTickCount - m_dwLastCallBackTime > dwMaxEslapeTime ) ) {m_dwLastCallBackTime = dwTickCount;m_CallBack( strContentSize, strSize );}}return 0;}

此处progresscallback只是一个代理功能——它是静态的，它去调用clientp传过来的this指针所指向对象的ProcessCallback成员函数。之后我们的其他回调函数也是类似的，比如写结果的回调设置

设置写结果回调

		easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_WRITEFUNCTION, writefilecallback);CHECKCURLEASY_EROORBREAK(easycode);easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_WRITEDATA, this);CHECKCURLEASY_EROORBREAK(easycode);

	size_t CHttpRequestByCurl::writefilecallback( void *buffer, size_t size, size_t nmemb, void *stream ) {if (stream) {CHttpRequestByCurl* pThis = (CHttpRequestByCurl*)stream;return pThis->WriteFileCallBack(buffer, size, nmemb);}else {return size * nmemb;}}size_t CHttpRequestByCurl::WriteFileCallBack( void *buffer, size_t size, size_t nmemb ) {if (!m_pCurlEasy) {return 0;}int nResponse = 0;CURLcode easycode = curl_easy_getinfo(m_pCurlEasy, CURLINFO_RESPONSE_CODE, &nResponse);if ( CURLE_OK != easycode || nResponse >= 400 ) {return 0;}return Write(buffer, size, nmemb);}

在WriteFileCallBack函数中，我们使用curl_easy_getinfo判断了easy interface的返回值，这是为了解决接收返回结果时服务器中断的问题。

设置读回调

读回调我们并没有传递this指针过去。

            easycode = curl_easy_setopt( m_pCurlEasy,  CURLOPT_READFUNCTION,  read_callback);CHECKCURLEASY_EROORBREAK(easycode);

我们看下回调就明白了

    size_t CHttpRequestByCurl::read_callback( void *ptr, size_t size, size_t nmemb, void *stream ) {return ((ToolsInterface::LPIMemFileOperation)(stream))->MFRead(ptr, size, nmemb);}

这次用户自定义指针指向了一个IMemFileOperation对象指针，它是在之后的其他步奏里传递过来的。这儿有个非常有意思的地方——即MFRead的返回值和libcurl要求的read_callback返回值是一致的——并不是说类型一致——而是返回值的定义一致。这就是统一成标准接口的好处。

设置URL

            easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_URL, m_strUrl.c_str());CHECKCURLEASY_EROORBREAK(easycode);

设置超时时间

            easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_TIMEOUT_MS, m_nTimeout);CHECKCURLEASY_EROORBREAK(easycode);

设置Http头

            for ( ToolsInterface::ListStrCIter it = m_listHeaders.begin(); it != m_listHeaders.end(); it++ ) {m_pHeaderlist = curl_slist_append(m_pHeaderlist, it->c_str());}if (m_pHeaderlist) {curl_easy_setopt(m_pCurlEasy, CURLOPT_HTTPHEADER, m_pHeaderlist);}

这儿需要注意的是m_pHeaderlist在整个请求完毕后需要释放

		if (m_pHeaderlist) {curl_slist_free_all (m_pHeaderlist);m_pHeaderlist = NULL;}

设置Agent

            if (!m_strAgent.empty()) {easycode = curl_easy_setopt(m_pCurlEasy, CURLOPT_USERAGENT, m_strAgent.c_str());CHECKCURLEASY_EROORBREAK(easycode);}

设置Post参数

            if ( ePost == GetType() ) {easycode = ModifyEasyCurl(m_pCurlEasy, m_Params);CHECKCURLEASY_EROORBREAK(easycode);}

之后我们将讲解ModifyEasyCurl的实现。我们先把整个调用过程将完。

将easy interface加入到multi interface

            CURLMcode multicode = curl_multi_add_handle( m_pCurlMulti, m_pCurlEasy );CHECKCURLMULTI_EROORBREAK(multicode);bSuc = true;} while (0);return bSuc;
}

运行

    EDownloadRet CHttpRequestByCurl::Curl_Multi_Select(CURLM* pMultiCurl){EDownloadRet ERet = EContinue;do {struct timeval timeout;fd_set fdread;fd_set fdwrite;fd_set fdexcep;CURLMcode multicode;long curl_timeo = -1;/* set a suitable timeout to fail on */ timeout.tv_sec = 30; /* 30 seconds */ timeout.tv_usec = 0;multicode = curl_multi_timeout(pMultiCurl, &curl_timeo);if ( CURLM_OK == multicode && curl_timeo >= 0 ) {timeout.tv_sec = curl_timeo / 1000;if (timeout.tv_sec > 1) {timeout.tv_sec = 0;} else {timeout.tv_usec = (curl_timeo % 1000) * 1000;}}int nMaxFd = -1;while ( -1 == nMaxFd ) {FD_ZERO(&fdread);FD_ZERO(&fdwrite);FD_ZERO(&fdexcep);multicode = curl_multi_fdset( m_pCurlMulti, &fdread, &fdwrite, &fdexcep, &nMaxFd );CHECKCURLMULTI_EROORBREAK(multicode);if ( -1 != nMaxFd ) {break;}else {if (WAIT_TIMEOUT != WaitForSingleObject(m_hStop, 100)) {ERet = EInterrupt;break;}int nRunning = 0;CURLMcode multicode = curl_multi_perform( m_pCurlMulti, &nRunning );CHECKCURLMULTI_EROORBREAK(multicode);}}if ( EContinue == ERet ) {int nSelectRet = select( nMaxFd + 1, &fdread, &fdwrite, &fdexcep, &timeout );if ( -1 == nSelectRet ){ERet = EFailed;}}if ( EInterrupt == ERet ) {break;}} while (0);return ERet;}DWORD CHttpRequestByCurl::StartRequest() {Init();EDownloadRet eDownloadRet = ESuc;do {if (!Prepare()) {break;}int nRunning = -1;while( CURLM_CALL_MULTI_PERFORM == curl_multi_perform(m_pCurlMulti, &nRunning) ) {if (WAIT_TIMEOUT != WaitForSingleObject(m_hStop, 10)) {eDownloadRet = EInterrupt;break;}}if ( EInterrupt == eDownloadRet ) {break;}while(0 != nRunning) {EDownloadRet nSelectRet = Curl_Multi_Select(m_pCurlMulti);if ( EFailed == nSelectRet || EInterrupt == nSelectRet || ENetError == nSelectRet ) {eDownloadRet = nSelectRet;break;}else {CURLMcode multicode = curl_multi_perform(m_pCurlMulti, &nRunning);if (CURLM_CALL_MULTI_PERFORM == multicode) {if (WAIT_TIMEOUT != WaitForSingleObject(m_hStop, 10)) {eDownloadRet = EInterrupt;break;}}else if ( CURLM_OK == multicode ) {}else {if (WAIT_TIMEOUT != WaitForSingleObject(m_hStop, 100)) {eDownloadRet = EInterrupt;}break;}}if ( EInterrupt == eDownloadRet ) {break;}} // whileif ( EInterrupt == eDownloadRet ) {break;}int msgs_left;  CURLMsg*  msg;  while((msg = curl_multi_info_read(m_pCurlMulti, &msgs_left))) {  if (CURLMSG_DONE == msg->msg) { if ( CURLE_OK != msg->data.result ) {eDownloadRet = EFailed;}}else {eDownloadRet = EFailed;}}} while (0);Unint();m_bSuc = ( ESuc == eDownloadRet ) ? true : false;return eDownloadRet;}

可以见得运行的主要过程就是不停的调用curl_multi_perform。

实现Post、文件上传功能

对于MultiPart格式数据，我们要使用curl_httppost结构体保存参数

组装上传文件

    CURLcode CPostByCurl::ModifyEasyCurl_File( CURL* pEasyCurl, const FMParam& Param ) {Param.value->MFSeek(0L, SEEK_END);long valuesize = Param.value->MFTell();Param.value->MFSeek(0L, SEEK_SET);curl_formadd((curl_httppost**)&m_pFormpost,(curl_httppost**)&m_pLastptr,CURLFORM_COPYNAME, Param.strkey.c_str(),CURLFORM_STREAM, Param.value, CURLFORM_CONTENTSLENGTH, valuesize,CURLFORM_FILENAME, Param.fileinfo.szfilename,CURLFORM_CONTENTTYPE, "application/octet-stream",CURLFORM_END);return CURLE_OK;}

我们使用CURLFORM_STREAM标记数据的载体，此处我们传递的是一个IMemFileOperation指针，之前我们定义的readcallback回调将会将该参数作为第一个参数被调用。CURLFORM_CONTENTSLENGTH也是个非常重要的参数。如果我们不设置CURLFORM_CONTENTSLENGTH，则传递的数据长度是数据起始至\0结尾。所以我们在调用curl_formadd之前先计算了数据的长度——文件的大小。然后指定CURLFORM_FILENAME为服务器上保存的文件名。

组装上传数据

    CURLcode CPostByCurl::ModifyEasyCurl_Mem( CURL* pEasyCurl, const FMParam& Param ) {if (Param.meminfo.bMulti) {Param.value->MFSeek(0L, SEEK_END);long valuesize = Param.value->MFTell();Param.value->MFSeek(0L, SEEK_SET);curl_formadd(&m_pFormpost, &m_pLastptr, CURLFORM_COPYNAME, Param.strkey.c_str(), CURLFORM_STREAM, Param.value, CURLFORM_CONTENTSLENGTH, valuesize,CURLFORM_CONTENTTYPE, "application/octet-stream",CURLFORM_END );}else {if (!m_strCommonPostData.empty()) {m_strCommonPostData += "&";}std::string strpostvalue;while(!Param.value->MFEof()) {char buffer[1024] = {0};size_t size = Param.value->MFRead(buffer, 1, 1024);strpostvalue.append(buffer, size);}m_strCommonPostData += Param.strkey;m_strCommonPostData += "=";m_strCommonPostData += strpostvalue;}return CURLE_OK;}

对于需要MultiPart格式发送的数据，我们发送的方法和文件发送相似——只是少了CURLFORM_FILENAME设置——因为没有文件名。

对于普通Post数据，我们使用m_strCommonPostData拼接起来。待之后一并发送。

设置数据待上传

CURLcode CPostByCurl::ModifyEasyCurl( CURL* pEasyCurl, const FMParams& Params ) {for (FMParamsCIter it = m_PostParam.begin(); it != m_PostParam.end(); it++ ) {if (it->postasfile) {ModifyEasyCurl_File(pEasyCurl, *it);}else {ModifyEasyCurl_Mem(pEasyCurl, *it);}}if (m_pFormpost){curl_easy_setopt(pEasyCurl, CURLOPT_HTTPPOST, m_pFormpost);}if (!m_strCommonPostData.empty()) {curl_easy_setopt(pEasyCurl, CURLOPT_COPYPOSTFIELDS, m_strCommonPostData.c_str());}return CURLE_OK;
}

通过设置CURLOPT_HTTPPOST，我们将MultiPart型数据——包括文件上传数据设置好。通过设置CURLOPT_COPYPOSTFIELDS，我们将普通Post型数据设置好。

Get型请求没什么好说的。详细见之后给的工程源码。

工程源码链接：http://pan.baidu.com/s/1i3eUnMt 密码：hfro