生产者/消费者与Java中Monitor的倍数实例 - java

我正在建立一个网络爬虫，以从网站下载文件。我有一个生产者（链接获取程序）和一个消费者（下载程序）。

它们都可以总结如下：

//Fetcher implements Runnable
public void run(){
  while(String link = getLinkFromDatabase != null){
     String htmlContent = HTTPrequest.getHTMLtoString(link);
     ArrayList<String> links = HTTPrequest.getUrlsFromString(htmlContent); //Custom Parser/Extractor
     ArrayList<String> files = HTTPrequest.getFilesFromString(htmlContent);//Custom Parser/Extractor
     String SqlQueryAddLinks = "INSERT IGNORE DUPLICATE INTO [...]"; //Insert query for Links with unique key : sha256 of the url.
     String SqlQUeryAddFiles = "INSERT IGNORE DUPLICATE INTO [...]"; //Insert query for Files with unique key : sha256 of the url.
     Queries.sqlExec(SqlQueryAddLinks);
     int RowAffected = Queries.sqlExec(SqlQueryAddFiles);
     Queries.archiveLink(link);
     Monitor.append(RowAffected);
  }
}

//Downloader implements Runnable
public void run(){
  while(String link = getFileFromeDatabase != null){
     //You don't care of steps here I just download the file
     if(fileDownloaded){
        Queries.archiveFile(link);
        Monitor.take();
     }
  }
}

现在，我正在尝试同步两个线程，以确保链接不会太旧。为此，我使用Monitor（如William Stallings撰写的《操作系统：内部和设计原理》中所述）

public class Monitor{
   int N = 10;
   int count;
   Condition notfull, notempty;

   public Monitor(){
      count = 0;
   }

   public void append(int nbr) throws InterruptedException{
      if(count >= N){
         notfull.wait();
      }
      count+=nbr;
      notempty.signal();
   }

   public void take() throws InterruptedException{
      if(count == 0){
         notempty.wait();
      }
      count--;
      notfull.signal();
   }

现在，我想通过监视器启动多个提取器和下载器同步。我是否需要创建一个新的Monitors对象并将Monitor添加到我的Downloader和Fetcher的类中，还是有更好的方法？这本书不是在谈论生产者/消费者的倍数，而是在C ++中使用功能parbegin(producer, consumer);（我想是C ++）。

参考方案

仅凭眼球，此代码就不会出于多种原因进行编译，并且可以保证运行时失败。

a）您尝试调用静态方法take / append，但它们不是静态的。

b）您尝试具有2个Condition对象，但没有可重入锁。

c）在等待/通知之前，您甚至都没有在条件后面锁定/解锁可重入锁定

d）您使用Condition.wait（）而不是.await（）。

e）您使用的是Condition.signal（）而不是.signalAll（）

Java:线程池如何将线程映射到可运行对象 - java

试图绕过Java并发问题，并且很难理解线程池，线程以及它们正在执行的可运行“任务”之间的关系。如果我创建一个有10个线程的线程池，那么我是否必须将相同的任务传递给池中的每个线程，或者池化的线程实际上只是与任务无关的“工人无人机”可用于执行任何任务？无论哪种方式，Executor / ExecutorService如何将正确的任务分配给正确的线程？参考方案 …

JAVA:字节码和二进制有什么区别？ - java

java字节代码（已编译的语言，也称为目标代码）与机器代码（当前计算机的本机代码）之间有什么区别？我读过一些书，他们将字节码称为二进制指令，但我不知道为什么。参考方案字节码是独立于平台的，在Windows中运行的编译器编译的字节码仍将在linux / unix / mac中运行。机器代码是特定于平台的，如果在Windows x86中编译，则它将仅在Win…

java:继承 - java

有哪些替代继承的方法？ java大神给出的解决方案有效的Java：偏重于继承而不是继承。（这实际上也来自“四人帮”）。他提出的理由是，如果扩展类未明确设计为继承，则继承会引起很多不正常的副作用。例如，对super.someMethod()的任何调用都可以引导您通过未知代码的意外路径。取而代之的是，持有对本来应该扩展的类的引用，然后委托给它。这是与Eric…

Java:BigInteger，如何通过OutputStream编写它 - java

我想将BigInteger写入文件。做这个的最好方式是什么。当然，我想从输入流中读取（使用程序，而不是人工）。我必须使用ObjectOutputStream还是有更好的方法？目的是使用尽可能少的字节。谢谢马丁参考方案 Java序列化（ObjectOutputStream / ObjectInputStream）是将对象序列化为八位字节序列的一种通用方法。但…

Java DefaultSslContextFactory密钥库动态更新 - java

我有一个使用org.restlet.engine.ssl.DefaultSslContextFactory的现有应用程序和一个在服务器启动时加载的密钥库文件。我有另一个应用程序，该应用程序创建必须添加的证书服务器运行时动态地更新到密钥库文件。为此，我在代码中创建了证书和私钥，然后将其写入到目录。该目录由bash脚本监视，该脚本检查是否有新文件，如果出现，它将…

生产者/消费者与Java中Monitor的倍数实例 - java

腾讯的同事天天给我安利让我看《三体》，说马化腾和雷军也在…