压缩/序列化/处理大量数据的有效方法 - java

我有一个25,000个浮点数(用,分隔)的文件，并且大约有10万个这样的行。文件的一行类似于:

1689.97,-9643.39,-82082.1,9776.09,-33974.84,-67247.38,32997.34,72811.53,31642.87,-949.6,9340.68,-85854.48,-17705.36,187.74,-3002.6,-35812.21,37382.32,22770.78,40893.09,45743.99,-6500.92,26243.85,13975.95,0,56669.47,-25865.36,-17066.78,26788.57,0,-36554.86,-3687.19,18933.93

我有一个两部分的问题。

是否有一种方法(用Java或Python)可以有效地压缩数据，而又不影响性能。压缩将每天进行一次，但是必须经常读取数据。

是否可以以压缩形式处理数据，例如我想在不解压缩的情况下在前10行上聚合前10列。这样，我不必担心频繁读取压缩数据。挑战之一是将25,000个字符串转换为浮点数以进行添加。

我看过gzip和zcat，它们是不错的选择。但是我想找到一些压缩或序列化算法，以通过Java/Python存储数据并执行读取而无需解压缩。

参考方案

在Java中，您可以将OutputStream和GZIPOutputStream包装在一起，并将InputStream和GZIPInputStream包装在一起，以便使用GZIP算法即时压缩/解压缩数据。

Java:正则表达式模式匹配器是否有大小限制？ - java

我的模式类似于OR:“word1 | word2 | word3”我大约有800个字。可能有问题吗？ 参考方案 您仅受记忆和理智的限制。 :)

Java:找到特定字符并获取子字符串 - java

我有一个字符串4.9.14_05_29_16_21，我只需要获取4.9。数字各不相同，所以我不能简单地获得此char数组的前三个元素。我必须找到最正确的.并将其子字符串化直到那里。我来自Python，因此我将展示Python的实现方法。def foobar(some_string): location = some_string.rfind('.&…

Java:线程池如何将线程映射到可运行对象 - java

试图绕过Java并发问题，并且很难理解线程池，线程以及它们正在执行的可运行“任务”之间的关系。如果我创建一个有10个线程的线程池，那么我是否必须将相同的任务传递给池中的每个线程，或者池化的线程实际上只是与任务无关的“工人无人机”可用于执行任何任务？无论哪种方式，Executor / ExecutorService如何将正确的任务分配给正确的线程？ 参考方案 …

JAVA:字节码和二进制有什么区别？ - java

java字节代码（已编译的语言，也称为目标代码）与机器代码（当前计算机的本机代码）之间有什么区别？我读过一些书，他们将字节码称为二进制指令，但我不知道为什么。 参考方案 字节码是独立于平台的，在Windows中运行的编译器编译的字节码仍将在linux / unix / mac中运行。机器代码是特定于平台的，如果在Windows x86中编译，则它将仅在Win…

java:继承 - java

有哪些替代继承的方法？ java大神给出的解决方案 有效的Java：偏重于继承而不是继承。 （这实际上也来自“四人帮”）。他提出的理由是，如果扩展类未明确设计为继承，则继承会引起很多不正常的副作用。例如，对super.someMethod()的任何调用都可以引导您通过未知代码的意外路径。取而代之的是，持有对本来应该扩展的类的引用，然后委托给它。这是与Eric…