是否可以在不重写的情况下将数据添加到文件中?

我处理非常大的二进制文件(每个文件几GB到多TB)。 这些文件以传统格式存在,升级需要将标头写入文件的FRONT。 我可以创建一个新文件并重写数据,但有时这可能需要很长时间。 我想知道是否有更快的方法来完成此升级。 该平台仅限于Linux,我愿意使用低级函数(ASM,C,C ++)/文件系统技巧来实现这一目标。 初始库是Java,JNI是完全可以接受的。

本机没有通用的方法。

也许某些文件系统提供了一些function来执行此操作(无法提供任何关于此的提示),但您的代码将依赖于文件系统。


解决方案可以是模拟文件系统:您可以将数据存储在一组文件中,然后提供一些打开,读取和写入数据的function,就像它是单个文件一样。

听起来很疯狂,但如果可以更改从文件读取数据的function,则可以按相反的顺序存储文件数据。 在这种情况下,您可以在文件末尾附加数据(以相反的顺序)。 这只是一个普遍的想法,所以我不能推荐任何特别的东西。 用于反转当前文件的代码如下所示:

std::string records; ofstream out; std::copy( records.rbegin(), records.rend(), std::ostream_iterator(out)); 

这取决于你所说的“文件系统技巧”。 如果您愿意对文件系统的磁盘格式感到沮丧, 并且要添加的标头大小是文件系统块大小的倍数,那么您可以编写一个程序来直接操作文件系统的磁盘结构(未安装文件系统)。

这个企业虽然听起来很毛茸茸 – 如果你有数百个这样的巨型文件要处理,它可能是值得的。

我只是使用标准的Linux工具来做到这一点。
写另一个应用程序来做它似乎是次优的。

 cat headerFile oldFile > tmpFile && mv tmpFile oldFile 

我知道这是一个老问题,但我希望这有助于将来的某个人。 与模拟文件系统类似,您只需使用命名管道:

 mkfifo /path/to/file_to_be_read { echo "HEADER"; cat /path/to/source_file; } > /path/to/file_to_be_read 

然后,针对/path/to/file_to_be_read运行旧程序,输入将为:

 HEADER contents of /path/to/source_file ... 

只要程序按顺序读取文件并且不通过缓冲区执行mmap()rewind()这将起作用。