Java中的多线程处理是否需要花费大量时间来完成任务? - java

我必须在10个大文件中搜索一个字符串(zip格式为70 MB),并且必须将带有搜索字符串的行打印到相应的10个输出文件中。(即文件1的输出应该在output_file1 ... file2--中。 -> output_file2)。同一程序需要15分钟才能处理一个文件。但是,如果使用10个线程读取10个文件并写入10个不同的文件,则它应在15分钟内完成,但要花40分钟。

我该如何解决。还是多线程仅需要这么多时间?

参考方案

并发访问文件通常在2-3个线程后会变慢,因为硬盘最终会因为尝试同时读取所有文件而产生混乱,这类似于读取已碎片整理的文件。

为避免这种情况,请将工作分为文件读取器和文件解析器。文件读取器从文件中引入数据(也进行解压缩),然后文件解析器解析数据。您可以使用PipedInputStream / PipedOutputStream将数据从文件阅读器转发到文件解析器。

由于文件是压缩文件,因此读取涉及I / O和cpu​​,可以在2-4个读取所有文件的线程之间很好地进行交错。对于解析文件,最简单的方法是从PipedInputStream读取一个线程,因此每个文件只有一个解析器线程。每个文件使用多个线程需要拆分流并在块边界处处理缓存,这使过程变得复杂,在这里没有必要,因为您可能拥有10个解析器线程和2-4个读取器线程的足够的并行度。

java:继承 - java

有哪些替代继承的方法? java大神给出的解决方案 有效的Java:偏重于继承而不是继承。 (这实际上也来自“四人帮”)。他提出的理由是,如果扩展类未明确设计为继承,则继承会引起很多不正常的副作用。例如,对super.someMethod()的任何调用都可以引导您通过未知代码的意外路径。取而代之的是,持有对本来应该扩展的类的引用,然后委托给它。这是与Eric…

Java:BigInteger,如何通过OutputStream编写它 - java

我想将BigInteger写入文件。做这个的最好方式是什么。当然,我想从输入流中读取(使用程序,而不是人工)。我必须使用ObjectOutputStream还是有更好的方法?目的是使用尽可能少的字节。谢谢马丁 参考方案 Java序列化(ObjectOutputStream / ObjectInputStream)是将对象序列化为八位字节序列的一种通用方法。但…

Java-如何将此字符串转换为日期? - java

我从服务器收到此消息,我不明白T和Z的含义,2012-08-24T09:59:59Z将此字符串转换为Date对象的正确SimpleDateFormat模式是什么? java大神给出的解决方案 这是ISO 8601标准。您可以使用SimpleDateFormat simpleFormat = new SimpleDateFormat("yyyy-MM…

Java:从类中查找项目名称 - java

仅通过类的实例,如何使用Java反射或类似方法查找项目名称?如果不是,项目名称(我真正想要的是)可以找到程序包名称吗? 参考方案 项目只是IDE使用的简单组织工具,因此项目名称不是类或JVM中包含的信息。要获取软件包,请使用Class#getPackage()。然后,可以调用Package#getName()将包作为您在代码的包声明中看到的String来获取…

JAVA 8具有任何匹配属性的对象的过滤器列表 - java

我的要求是通过匹配任何属性的字符串来过滤对象列表。例如,假设Contact类具有三个属性:街道,城市,电话。我知道java流过滤器是如何工作的,在这里我必须将输入字符串与每个属性进行比较,如下所示:contactList.stream().filter(contact -> contact.getStreet().equals("dubai&…