一、需求背景最近备份手机数据直连电脑然后把手机上的照片全都拷出来却遇到了几个问题直连 USB线是2.0速度手机上100个GB的照片视频文件拷贝花了一整个晚上。在手机上删照片在30日内还可以还原实际上实现的原理是将这个照片文件换了一个文件名将它标记为隐藏了然而直连数据线将文件夹拷贝出来会将这些文件也拷出来。不仅是已删除的文件还有 .thumbnail 开头的缩略图文件、各种隐藏文件全都会被拷贝出来这些是不需要的。文件夹里有一些压缩包、文档等非媒体文件也一并拷出来了这些也是我不需要的。我手机上的数据隔几个月就会备份一次但是数据大部分是已经备份过的所以每次拷贝都拷出来100GB的文件实在是太浪费了既浪费时间、也浪费电脑的空间。使用NAS也许可以解决这样的问题但是我不想使NAS我也不想花钱买云服务NAS通常可以同步「新增」但是不能同步「修改」和「删除」我希望更高颗粒度地备份手机文件数据二、解决方案我在手机和电脑上分别写了一个跨网络传输脚本可以在拷贝文件的时候跳过隐藏文件夹、跳过PC上已存在的文件、保持文件夹结构、还原手机上文件的修改最后时间。2.1 首先是一个公用的 util.py 模块对TCP服务进行包装简易调用写了一个File类可以惰性获取文件的大小、MD5值、文件最后修改时间。当判断文件的文件名不含路径、文件大小、和MD5值完全一致时认为是相同的文件跳过备份。服务器和客户端两端运行完之后总结统计数据。importosimportsocketimportstructimporthashlib IMAGE_EXTS[jpg,jpeg,png,gif,bmp,webp,heic,heif,tiff,ico,avif]VIDEO_EXTS[mp4,mkv,mov,avi,3gp,webm,flv,m4v,mpg,mpeg]MEDIA_EXTSIMAGE_EXTSVIDEO_EXTS# 图片 视频供客户端遍历使用classTcp:def__init__(self,addr,port):self.hostnotaddr self.addraddr self.portport self.connect()defconnect(self):ifself.host:self.serversocket.socket()self.server.bind((,self.port))self.server.listen(5)self.client,(addr,port)self.server.accept()else:self.clientsocket.socket()self.client.connect((self.addr,self.port))defclose(self):self.client.close()ifself.host:self.server.close()defsend(self,data):datadata.encode()ifisinstance(data,str)elsedata self.client.sendall(data)defrecv(self,length):returnself.client.recv(length)defsendlong(self,data):datadata.encode()ifisinstance(data,str)elsedataassertlen(data)132# max 4GBself.send(struct.pack(I,len(data))data)defrecvlong(self):lengthstruct.unpack(I,self.recv(4))[0]# max 4GBdatabytearray()whilelen(data)length:chunkself.client.recv(length-len(data))ifnotchunk:raiseConnectionError data.extend(chunk)returnbytes(data)classFile:def__init__(self,path:str):self.pathos.path.normpath(path).replace(os.sep,/)self.dir,self.basenameos.path.split(self.path)self.stem,self.extos.path.splitext(self.basename)self.info{}propertydefsize(self)-int:ifsizenotinself.info:self.info[size]os.path.getsize(self.path)returnself.info[size]propertydefmd5(self)-str:ifmd5notinself.info:hhashlib.md5()withopen(self.path,rb)asf:forchunkiniter(lambda:f.read(8192),b):h.update(chunk)self.info[md5]h.hexdigest()returnself.info[md5]propertydefmtime(self)-float:ifmtimenotinself.info:self.info[mtime]os.path.getmtime(self.path)returnself.info[mtime]mtime.setterdefmtime(self,value:float):os.utime(self.path,(os.path.getatime(self.path),value))self.info[mtime]valuedef__repr__(self)-str:returnfFile({self.path})def__str__(self)-str:returnself.pathdefLocalIps():返回本机所有可用 IPv4 地址列表ips[]try:ssocket.socket(socket.AF_INET,socket.SOCK_DGRAM)s.connect((8.8.8.8,80))ips.append(s.getsockname()[0])s.close()exceptOSError:passforinfoinsocket.getaddrinfo(socket.gethostname(),None):ipinfo[4][0]if:notinipandip!127.0.0.1andipnotinips:ips.append(ip)returnipsdefPrintLocalIps():打印本机所有可用 IPv4便于手机端填服务器地址print(本机 IP:)foripinLocalIps():print(f{ip})defWalk(paths,exts(,),hiddenTrue):extstuple(ext.lower()forextinexts)forpathinpaths:forroot,folders,filesinos.walk(path):ifnothidden:folders[:][folderforfolderinfoldersifnotfolder.startswith(.)]files[:][fileforfileinfilesifnotfile.startswith(.)]folders.sort()files.sort()forfileinfiles:iffile.lower().endswith(exts):yieldFile(os.path.join(root,file))defHumanSize(n:int)-str:字节数可读化B-PBforunitin(B,KB,MB,GB,TB):ifn1024:returnf{n:.1f}{unit}n/1024returnf{n:.1f}PBdefPrintSummary(st):两端统一的收尾统计发送/跳过的文件个数与总大小print(-*40)print(完成传输:)print(f 发送{st[sent]}个文件总共{HumanSize(st[sent_size])})print(f 跳过{st[skip]}个文件总共{HumanSize(st[skip_size])})defRelpathOf(path:str,roots)-str:算出 path 相对其所属 root 的相对路径便于对端还原目录结构ppath.replace(\\,/)forrinroots:rrr.replace(\\,/).rstrip(/)ifprrorp.startswith(rr/):relp[len(rr)1:]oros.path.basename(p)return(os.path.basename(rr)/rel).replace(\\,/)returnos.path.basename(path)2.2 然后先在电脑上运行 server.py 服务器程序运行后会自动显示本机可用IP地址importosimporttimeimportutil# ----- 配置区 -----SERVER_PORT9000# 预扫描的根目录索引即在这些目录里查重SERVER_SCAN_ROOTS[r.,rpc,# rD:\Pictures,# rD:\Videos,# rE:\Photos,]# 接收文件落盘目录: 日期_时间 文件夹 (如 20260930_123000)NEW_DIRtime.strftime(%Y%m%d_%H%M%S)# ----- 配置区 -----defBuildDatabase(roots):databaselist(util.Walk(roots))print(f已扫描本机文件{len(database)}个建立索引完成。)returndatabasedefUniquePath(path):root,extos.path.splitext(path)i2whileos.path.exists(path):pathf{root}_{i}{ext}i1returnpathdefRecvFile(tcp,relpath:str,size:int):把客户端发来的内容落盘到 落盘目录/相对路径还原文件最后修改时间fileutil.File(UniquePath(os.path.join(NEW_DIR,relpath)))os.makedirs(file.dir,exist_okTrue)withopen(file.path,wb)asf:received0whilereceivedsize:chunktcp.recv(size-received)f.write(chunk)receivedlen(chunk)file.mtimefloat(tcp.recvlong())defRecvFiles(tcp,database):st{sent:0,sent_size:0,skip:0,skip_size:0}whileTrue:cmdtcp.recvlong().decode()ifcmdEND:breakrelpathtcp.recvlong().decode()basenameos.path.basename(relpath)sizeint(tcp.recvlong())md5tcp.recvlong().decode()forfileindatabase:iffile.basenamebasenameandfile.sizesizeandfile.md5md5:tcp.sendlong(SKIP)st[skip]1st[skip_size]sizeprint(f跳过:{relpath}({util.HumanSize(size)}))breakelse:tcp.sendlong(DATA)RecvFile(tcp,relpath,size)st[sent]1st[sent_size]sizeprint(f接收:{relpath}({util.HumanSize(size)}))util.PrintSummary(st)defmain():util.PrintLocalIps()databaseBuildDatabase(SERVER_SCAN_ROOTS)print(f等待手机连接...)tcputil.Tcp(None,SERVER_PORT)RecvFiles(tcp,database)if__name____main__:main()2.3 再然后在手机上运行 client.py 客户端程序输入PC的IP地址后开始备份importutil# ----- 配置区 -----SERVER_PORT9000WALK_ROOTS[phone,/storage/emulated/0/DCIM,/storage/emulated/0/Pictures,# /storage/emulated/0/Movies,# /storage/emulated/0/Download,]CHUNK120# 分块 1MB# ----- 配置区 -----defSendFile(tcp,path:str,size:int,chunk:intCHUNK):按 size 字节流式发送内容1MB/次sent0withopen(path,rb)asf:whilesentsize:dataf.read(chunk)ifnotdata:breaktcp.send(data)sentlen(data)defmain():port,rootsSERVER_PORT,WALK_ROOTS util.PrintLocalIps()hostinput(请输入PC端IP地址: ).strip()print(f连接{host}:{port}...)tcputil.Tcp(host,port)st{sent_size:0,sent:0,skip:0,skip_size:0}forfileinutil.Walk(roots,extsutil.MEDIA_EXTS,hiddenFalse):iffile.size0:continuetcp.sendlong(FILE)relpathutil.RelpathOf(file.path,roots)tcp.sendlong(relpath)tcp.sendlong(str(file.size))tcp.sendlong(file.md5)cmdtcp.recvlong().decode()ifcmdSKIP:st[skip]1st[skip_size]file.sizeprint(f跳过:{relpath}({util.HumanSize(file.size)}))elifcmdDATA:SendFile(tcp,file.path,file.size)tcp.sendlong(str(file.mtime))st[sent]1st[sent_size]file.sizeprint(f发送:{relpath}({util.HumanSize(file.size)}))else:raiseValueError(cmd)tcp.sendlong(END)util.PrintSummary(st)if__name____main__:main()三、其他提醒因为走的是WiFi所以拷贝速度比直连数据线的USB2.0传输速度更快了。如果有需要还可以指定备份例如最近30天新增的文件进一步加快速度请自行修改代码。如果需要将「跳过」的文件改为从硬盘「移动」过来例如你可能在手机上整理了文件夹分类你可能希望同步此变化请自行设计代码。Live Photo的实现原理是一个同名的图片和视频文件存放在了一个文件夹内所以实际拷贝的文件数目可能多于手机上显示的本机照片数量。本版本未实现去除这部分计数统计的方法请自行设计或者以后我有空了可能考虑加进去。本软件不限于在Android手机和PC之间备份在手机↔手机、PC↔PC之间也可以传送备份但是在它们之间使用的意义可能不是很大。本软件具备简单调试功能所以未增加异常处理和断点续传功能备份时请保持网络通畅。如果发生异常报错为保证文件完整建议从新开始备份。这个脚本将来可能会更新如果发生更新将会同步在以下地址本文不再更新znsoooo/tolkits/数据传输/手机同步​