当前位置: 首页 > 编程日记 > 正文

ASP.NET WebAPi之断点续传下载(下)

前言

上一篇我们穿插了C#的内容,本篇我们继续来讲讲webapi中断点续传的其他情况以及利用webclient来实现断点续传,至此关于webapi断点续传下载以及上传内容都已经全部完结,一直嚷嚷着把SQL Server和Oracle数据库再重新过一遍,这篇过完,就要开始新的征程,每一个阶段都应该有自己的小目标,要不然当工作太忙没时间去充电,太闲又变得懒散,想想一切是为了未来买得起孩子高档的奶粉就又有动力了。

话题

关于webapi断点续传下载的情况,之前我们利用webapi内置的api展开了具体的实现,这一节我们利用已经老掉牙的技术来实现,这个是看了一篇老外文章而想到的,具体地址忘记了,利用内存映射文件来实现断点续传,内存映射文件最常见的应用场景莫过于对于多个进程之间共享数据,我们知道进程与进程之间只能操作已经分配好各自的内存,当我们需要一个进程与另外一个进程共享一块数据时我们该如何做呢,这个时候就要用到内存映射文件(MemoryMappedFile),内存映射文件是单一机器多进程间数据通信的最高效的方式,好了关于内存映射文件具体内容可以参考园友【.net 流氓】的文章。我们通过内存映射文件管理虚拟内存然后将其映射到磁盘上具体的文件中,当然我们得知道所谓的文件能够被映射并不是将文件复制到虚拟内存中,而是由于会被应用程序访问到,很显然windows会加载部分物理文件,通过使用内存映射文件我们能够保证操作系统会优化磁盘访问,此外我们能够得到内存缓存的形式。因为文件被映射到虚拟内存中,所以在管理大文件时我们需要在64位模式下运行我们的程序,否则将无法满足我们所需的所有空间。

断点续传(内存映射文件)

关于涉及到的类以及接口在之前文章已经叙述,这里我们就不再啰嗦,这里我们给出下载文件的逻辑。

        /// <summary>/// 下载文件/// </summary>/// <param name="fileName"></param>/// <returns></returns>public HttpResponseMessage GetFile(string fileName){if (!FileProvider.Exists(fileName)){throw new HttpResponseException(HttpStatusCode.NotFound);}long fileLength = FileProvider.GetLength(fileName);var fileInfo = GetFileInfoFromRequest(this.Request, fileLength);.........}

我们从请求信息中获取到了文件的信息,接下来我们就是利用内存映射文件的时候

 MemoryMappedFile.OpenExisting(mapName, MemoryMappedFileRights.Read);

自定义一个映射名称,若此时已存在我们则继续读打开的文件,若不存在我们将打开要下载的文件并创建内存映射文件。

mmf = MemoryMappedFile.CreateFromFile(FileProvider.Open(fileName), mapName, fileLength,MemoryMappedFileAccess.Read, null, HandleInheritability.None,false);

接着我们创建一个映射文件内存的视图流并返回最终将其写入到响应中的HttpContent中。

mmf.CreateViewStream(0, fileLength, MemoryMappedFileAccess.Read);response.Content = new StreamContent(stream);

整个利用内存映射文件下载文件的逻辑如下:

        /// <summary>/// 下载文件/// </summary>/// <param name="fileName"></param>/// <returns></returns>public HttpResponseMessage GetFile(string fileName){if (!FileProvider.Exists(fileName)){throw new HttpResponseException(HttpStatusCode.NotFound);}long fileLength = FileProvider.GetLength(fileName);var fileInfo = GetFileInfoFromRequest(this.Request, fileLength);var mapName = string.Format("FileDownloadMap_{0}", fileName);MemoryMappedFile mmf = null;try{mmf = MemoryMappedFile.OpenExisting(mapName, MemoryMappedFileRights.Read);}catch (FileNotFoundException){mmf = MemoryMappedFile.CreateFromFile(FileProvider.Open(fileName), mapName, fileLength,MemoryMappedFileAccess.Read, null, HandleInheritability.None,false);}using (mmf){Stream stream= fileInfo.IsPartial? mmf.CreateViewStream(fileInfo.From, fileInfo.Length, MemoryMappedFileAccess.Read): mmf.CreateViewStream(0, fileLength, MemoryMappedFileAccess.Read);var response = new HttpResponseMessage();response.Content = new StreamContent(stream);SetResponseHeaders(response, fileInfo, fileLength, fileName);return response;}}

有时候运行会出现如下错误:

再要么下载过程中出现访问遭到拒绝的情况

若将权限修改为 MemoryMappedFileAccess.ReadWrite ,也会出现访问遭到拒绝的情况,此二者错误的出现暂未找到解决方案,期待读者能给出一点见解或者答案。

断点续传(WebClient)

利用WebClient进行断点续传下载最主要的是对象 HttpWebRequest 中的AddRange方法,类似webapi中的RangeHeaderItemValue对象的from和to显示表明请求从哪里到哪里的数据。其余的就比较简单了,我们获取文件下载路径以及下载目的路径,下载过程中获取目的路径中文件的长度,若路径长度大于0则继续添加,小于0则从0创建文件并下载直到响应头中的文件长度即Content-Length和目的文件长度相等才下载完成。

第一步(打开Url下载)

 client.OpenRead(url);

第二步(若目标文件已存在,比较其余响应头中文件长度,若大于则删除重新下载)

                if (File.Exists(filePath)){var finfo = new FileInfo(filePath);if (client.ResponseHeaders != null &&finfo.Length >= Convert.ToInt64(client.ResponseHeaders["Content-Length"])){File.Delete(filePath);}}

第三步(断点续传逻辑)

            long existLen = 0;FileStream saveFileStream;if (File.Exists(destinationPath)){var fInfo = new FileInfo(destinationPath);existLen = fInfo.Length;}if (existLen > 0)saveFileStream = new FileStream(destinationPath,FileMode.Append, FileAccess.Write,FileShare.ReadWrite);elsesaveFileStream = new FileStream(destinationPath,FileMode.Create, FileAccess.Write,FileShare.ReadWrite);var httpWebRequest = (HttpWebRequest)System.Net.HttpWebRequest.Create(sourceUrl);   httpWebRequest.AddRange((int)existLen);var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();using (var respStream = httpWebResponse.GetResponseStream()){var timout = httpWebRequest.Timeout;respStream.CopyTo(saveFileStream);}

第四步(判断目标文件长度与响应头中文件,相等则下载完成)

               fileInfo = fileInfo ?? new FileInfo(destinationFilePath);if (fileInfo.Length == Convert.ToInt64(client.ResponseHeaders["Content-Length"])){Console.WriteLine("下载完成.......");}else{throw new WebException("下载中断,请尝试重新下载......");}

整个利用WebClient下载逻辑如下:

(1)控制台调用,开始下载

            Console.WriteLine("开始下载......");try{DownloadFile("http://localhost:61567/FileLocation/UML.pdf", "d:\\temp\\uml.pdf");}catch (Exception ex){if (!string.Equals(ex.Message, "Stack Empty.", StringComparison.InvariantCultureIgnoreCase)){Console.WriteLine("{0}{1}{1} 出错啦: {1} {2}", ex.Message, Environment.NewLine,ex.InnerException.ToString());}}

(2)下载文件并判断下载是否完成

        public static void DownloadFile(string url, string filePath){var client = new WebClient();ServicePointManager.ServerCertificateValidationCallback += (sender, certificate, chain, errors) =>{ return true; };try{client.OpenRead(url);FileInfo fileInfo = null;if (File.Exists(filePath)){var finfo = new FileInfo(filePath);if (client.ResponseHeaders != null &&finfo.Length >= Convert.ToInt64(client.ResponseHeaders["Content-Length"])){File.Delete(filePath);}}DownloadFileWithResume(url, filePath);fileInfo = fileInfo ?? new FileInfo(destinationFilePath);if (fileInfo.Length ==        Convert.ToInt64(client.ResponseHeaders["Content-Length"])){Console.WriteLine("下载完成.......");}else{throw new WebException("下载中断,请尝试重新下载......");}}catch (Exception ex){Console.WriteLine("Error: {0} {1}", ex.Message, Environment.NewLine);Console.WriteLine("下载中断,请尝试重新下载......");throw;}}

(3)断点续传逻辑

        /// <summary>/// 断点续传下载/// </summary>/// <param name="sourceUrl"></param>/// <param name="destinationPath"></param>private static void DownloadFileWithResume(string sourceUrl, string destinationPath){long existLen = 0;FileStream saveFileStream;if (File.Exists(destinationPath)){var fInfo = new FileInfo(destinationPath);existLen = fInfo.Length;}if (existLen > 0)saveFileStream = new FileStream(destinationPath,FileMode.Append, FileAccess.Write,FileShare.ReadWrite);elsesaveFileStream = new FileStream(destinationPath,FileMode.Create, FileAccess.Write,FileShare.ReadWrite);var httpWebRequest = (HttpWebRequest)System.Net.HttpWebRequest.Create(sourceUrl);httpWebRequest.AddRange((int)existLen);var httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();using (var respStream = httpWebResponse.GetResponseStream()){var timout = httpWebRequest.Timeout;respStream.CopyTo(saveFileStream);}}

总结

至此在webapi中利用内存映射文件下载以及在控制台中利用WebClient下载叙述基本已经完结,其中或多或少还是存在一点问题,后续有时间再来看看,对于上述出现的问题,有解决方案的读者可以提供一下。接下来我将开始新的征程,开始SQL Server和Oracle数据库学习之旅。

更新

所有代码已经上传到右上角github,有需要请下载,或者直接点击如下地址clone:WebAPiResumeDownload

相关文章:

Git学习记录(一)

git-book 全面资料 git 用树形查看 &#xff08;git 命令代替gitk查看节点树part two 日常使用只要记住下图6个命令即可&#xff0c;但是学海无涯啊 ​ 常用 Git 命令清单。几个专用名词的译名如下。 Workspace&#xff1a;工作区Index / Stage&#xff1a;暂存区Reposito…

【牛客】CSL 的字符串 (stack map)

https://ac.nowcoder.com/acm/contest/551/D 这个题怎么说&#xff0c;data用来存储这个字母在字符串中最后一次出现的位置&#xff0c;vis则用来记录该字母是否在栈中。 当栈为空的时候&#xff0c;直接将s[i]放入栈中 如果不为空则需要比较栈顶元素和当前s[i]的那个元素&a…

Python:UTF-8编码转换成GBK编码

2019独角兽企业重金招聘Python工程师标准>>> #!/usr/bin/env python # -*- coding:utf-8 -*- #UTF-8转换成GBK编码 #temp #decode #encode #原理就是把UTF-8转换成万国码&#xff0c;再给万国码进行编码转换成GBK&#xff0c;在python 2.x里面这么用 ""&q…

三维重建【三】-------------------(三维重建资料收集)

Major学者的个人主页汇总&#xff1a; 1.陈宝权&#xff1a;http://web.siat.ac.cn/~baoquan/ 2.南亮亮&#xff1a;http://web.siat.ac.cn/~liangliang/ 3.mueller&#xff1a;http://people.ee.ethz.ch/~pascmu/publications.html 4.Yasutaka Furukawa:http://homes.cs.washi…

在 Linux 中查看时区

1.date date "%Z %z"或者 date -R2.timedatectl timedatectl|grep "Timezone"可以使用 timedatectl 来设置 Linux 时区 3.显示文件 /etc/timezone 的内容 cat /etc/timezone

【HDU】1237 简单计算器 (stack)

http://acm.hdu.edu.cn/showproblem.php?pid1237 题目很好理解&#xff0c;一开始想用优先队列&#xff0c;但好像有点难实现&#xff0c;用stack比较好实现&#xff0c;遇到“ * ” 或者" / " 就进行操作&#xff0c;遇到“ - ” 就把它的相反数加进stack&#xf…

关于 synchronizeOnSession

本文为[原创]文章&#xff0c;转载请标明出处。原文链接&#xff1a;https://weyunx.com/2019/01/22...原文出自微云的技术博客 最近在维护一个老项目&#xff0c;发现了一个问题。我们新增了一个耗时较久的复杂查询的功能&#xff0c;页面采用了 ajax 异步请求数据&#xff0c…

用python操作mysql数据库(之“更新”操作)

#!/usr/bin/env python # -*- coding: utf-8 -*-import MySQLdb#建立连接 conn MySQLdb.connect(host127.0.0.1,userroot,passwd1qaz#EDC,dbtest_db) cur conn.cursor()#对数据进行操作 sql "update user set name%s where id7" #定义sql语句&#xff0c;用于修改…

OpenCV【零】—————cv::Mat——Mat对象创建方法

OpenCV (一)——Mat对象创建方法 目录 OpenCV (一)——Mat对象创建方法 1. cv::Mat优点及原理&#xff08;本质类&#xff09; 2. Mat类拷贝及对象的创建方法 3. Mat 对象元素的高效访问 4. 存储方法 5. 显式创建Mat对象 6. 与其他语言对比的方式 7. Mat操作实例 1. c…

在Vmware中安装Ubuntu

转载自&#xff1a;https://blog.csdn.net/stpeace/article/details/78598333 不是每一个程序员都必须玩过linux&#xff0c;只是博主觉得现在的很多服务器都是linux系统的&#xff0c;而自己属于那种前端也搞&#xff0c;后台也搞&#xff0c;对框架搭建也感兴趣&#xff0c;…

C++回声服务器_5-多进程版本

服务器和客户端都是用多进程来接收和发送数据。 服务器代码 #include <cstdio> #include <cstdlib> #include <cstring> #include <unistd.h> #include <csignal> #include <sys/wait.h> #include <arpa/inet.h> #include <sys/s…

OpenCV 【一】—— OpenCV中数组指针、图像分块计算、指针取像素值与MatToEigen方法,内存对齐

{ Topic1: 高效开辟内存&#xff0c;使适用于大型数组。//开辟新数组&#xff0c;或者开辟新的0或者某一数值的数组/Mat或者Map直接使用memset //大数组操作效率较高 举例1&#xff1a;cv::Mat cv_ncc_temp(cv_input_32f.rows, cv_input_32f.cols, CV_8UC1);memset(cv_ncc_temp…

【Java】类与对象 - 参数传值

目录 面向过程语言简介 面向对象语言简介 面向对象编程的三个特性 参数传值 传值机制 基本数据类型的参数的传值 引用类型参数的传值 可变参数 面向过程语言简介 核心是编写解决问题某个问题的代码块&#xff0c;代码块是程序执行时产生的一种行为。面向过程语言缺少一…

新闻发布项目——业务逻辑层(newsTbService)

package bdqn.newsManageServlet.Service;import java.util.List;import bdqn.newsManageServlet.entity.newsTb;/*** 新闻业务逻辑层的接口* author Administrator**/ public interface newsTbService {//分页查询public List<newsTb>getPagingNews(int pagesize,int pa…

使用阿里云发布分布式网站,开发时候应该注意什么?

虽然之前写过关于负载均衡的文章&#xff0c;但是似乎大家都对负载均衡这个标题很陌生。今天就换个角度&#xff0c;从分布式网站发布角度说一下 首先&#xff0c;网站发布一定离不开服务器&#xff0c;就是阿里云的云服务器ECS。最近发现&#xff0c;老用户也有机会购买特价服…

【Java】类与对象 - 对象的组合

一个类的成员变量可以是Java允许的任何数据类型&#xff0c;因此&#xff0c;一个类可以把某个对象作为自己的成员变量&#xff0c;也就是说&#xff0c;该对象将其他对象作为自己的组成部分。 组合和复用 如果一个对象a组合了对象b&#xff0c;那么对象a就可以委托对象b调用…

CMakeLists.txt学习记录

一、Cmake 学习地址与作用 cmake详细见&#xff1a;https://gitlab.kitware.com/cmake/community/-/wikis/home 是一个跨平台、开源的构建系统。它是一个集软件构建、测试、打包于一身的软件。它使用与平台和编译器独立的配置文件来对软件编译过程进行控制。 二、常用命令 …

20145223《信息安全系统设计》 实验四 驱动程序设计

20145223杨梦云《信息安全系统设计》实验四实验报告 一、配置开发环境&#xff08;同实验一&#xff09; 二、阅读和理解源代码 进入/arm2410cl/exp/drivers/01_demo&#xff0c;使用vi编辑器或其他编辑器阅读理解源代码。 三、编译驱动模块及测试程序 上面介绍了在 Makefile 中…

Android屏幕适配框架-(今日头条终极适配方案)

2019独角兽企业重金招聘Python工程师标准>>> 在Android开发中,屏幕适配是一个非常头痛的问题,因而为了去进行屏幕适配,作为程序员,是呕心沥血,历经磨难,哈哈 我们之前做屏幕适配一般都会用到一下两种方式: 我们之前做屏幕适配一般都会用到一下两种方式: 第一种就是宽…

OpenCV 【三】————contours便利删除操作方法

int cmin 100;int cmax 1000;vector<vector<Point>>::const_iterator itc contours.begin();while (itc ! contours.end()){if (itc->size() < cmin || itc->size() > cmax)itc contours.erase(itc);elseitc;}

解决myeclipse中新建javaweb工程,无法使用Web App Libraries问题

在myeclipse中新建的java web工程&#xff0c;lib中的jar包无法自动加载工程&#xff0c;不能像eclipse那样使用Web App Libraries。即使添加了Web App Libraries这个libraries&#xff0c;jar包还是如法加入。解决方法&#xff1a;在.project文件中&#xff0c;修改<nature…

企业分布式微服务云SpringCloud SpringBoot mybatis - 服务消费者(Feign)

一、Feign简介 Feign是一个声明式的伪Http客户端&#xff0c;它使得写Http客户端变得更简单。使用Feign&#xff0c;只需要创建一个接口并注解。它具有可插拔的注解特性&#xff0c;可使用Feign 注解和JAX-RS注解。Feign支持可插拔的编码器和解码器。Feign默认集成了Ribbon&…

OpenCV 【四】————Watershed Algorithm(图像分割)——分水岭算法的原理及实现

分水岭算法实现&#xff08;C、opencv&#xff09; 1.作用&#xff1a; 通常用于分割图像&#xff0c;主要实现以临近像素间的相似性作为重要的参考依据&#xff0c;从而将在空间位置上相近并且灰度值相近的像素点互相连接起来构成一个封闭的轮廓&#xff0c;封闭性是分水岭算…

SQL脚本--有关压缩数据库日志

/*--压缩数据库的通用存储过程 压缩日志及数据库文件大小 因为要对数据库进行分离处理 所以存储过程不能创建在被压缩的数据库中 --邹建 2004.03(引用请保留此信息)--*/ /*--调用示例 exec p_compdb test--*/ use master --注意,此存储过程要建在master数据库中Go if exists …

【POJ】1308 Is It A Tree?((并查集 + set)or (map))

http://poj.org/problem?id1308 这个题数组开到200就可以了&#xff0c;但题目中貌似没有说呢&#xff1f; 读入每一对顶点&#xff0c;看看他们是否在同一个集合中&#xff0c;如果是的话&#xff0c;肯定成环&#xff0c;不是一棵树。 用set容器保存节点&#xff0c;最后…

Java程序员修炼之路(一)我们为什么选择Java

我们为什么选择Java大多数人选择Java可能只是因为听说Java前景好、Java比较好找工作、Java语言在TIOBE排行榜上一直位于前三等等之类的原因&#xff0c;但是Java具体好在哪里&#xff0c;心里却是没有什么概念的。其实我选择Java也是出于以上的原因&#xff0c;但是现在确实真正…

iOS10 权限崩溃问题

iOS10 权限崩溃问题 今天 手机升级了 iOS10然后用正在开发的项目 装了个ipa包&#xff0c;发现点击有关 权限访问 直接Crash了&#xff0c;并在控制台输出了一些信息&#xff1a; This app has crashed because it attempted to access privacy-sensitive data without a usage…

OpenCV 【六】————youtu(图像)——旋转保存图片

OpenCV Mat结构的图片 旋转顺时针90度 180度 270度 逆时针90度 Mat matRotateClockWise90(Mat src) {if (src.empty()){qDebug()<<"RorateMat src is empty!";}// 矩阵转置transpose(src, src);//0: 沿X轴翻转&#xff1b; >0: 沿Y轴翻转&#xff1b; <…

【HDU】2087 剪花布条 (KMP算法的应用)

可以参考&#xff1a;从头彻尾彻底理解KMP 可以用朴素的模式匹配算法&#xff0c;也可以使用KMP算法&#xff0c;KMP算法所用的时间较短 普通版 #include <iostream> #include <string>using namespace std;int main () {string s1,s2;while(cin >> s1){i…

081_Introducing trigger handler class

案例分析&#xff1a; 我们对一个Object写多个独立得Trigger。 但最终这不是最好的做法。 在Salesforce中&#xff0c;只为每个SObject设置一个触发器总是好的。 原因&#xff1a;每个独立触发器的执行顺序始终未定义。 因此&#xff0c;如果我们有多个触发器&#xff0c;它可能…