设置类路径后，包org.apache.hadoop.conf不存在 - java

我是hadoop的初学者，使用hadoop的初学者指南作为教程。

我正在使用Mac OS X 10.9.2和Hadoop版本1.2.1

在终端中调用echo $ PATH时，我已经设置了所有适当的类路径:

这是我得到的结果:

/Library/Frameworks/Python.framework/Versions/2.7/bin:/Users/oladotunopasina/hadoop-1.2.1/hadoop-core-1.2.1.jar:/Users/oladotunopasina/hadoop-1.2.1/bin:/ usr / share / grails / bin:/ usr / share / groovy / bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1/bin:/Users/oladotunopasina/.rvm/gems/ruby-2.1.1 @ global / bin:/Users/oladotunopasina/.rvm/rubies/ruby-2.1.1/bin:/ usr / local / heroku / bin:/ usr / bin:/ bin:/ usr / sbin:/ sbin:/ usr /本地/ bin:/用户/oladotunopasina/.rvm/bin:/用户/oladotunopasina/.rvm/bin

我尝试编译WordCount1.java并收到以下错误:

WordCount1.java:2: package org.apache.hadoop.conf does not exist
import org.apache.hadoop.conf.Configuration ;
                         ^
WordCount1.java:3: package org.apache.hadoop.fs does not exist
import org.apache.hadoop.fs.Path;
                       ^
WordCount1.java:4: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.IntWritable;
                       ^
WordCount1.java:5: package org.apache.hadoop.io does not exist
import org.apache.hadoop.io.Text;
                       ^
WordCount1.java:6: package org.apache.hadoop.mapreduce does not exist
import org.apache.hadoop.mapreduce.Job;
                              ^
WordCount1.java:7: package org.apache.hadoop.mapreduce does not exist
import org.apache.hadoop.mapreduce.Mapper;
                              ^

请帮助。

参考方案

CLASSPATH变量是告诉应用程序(包括JDK工具(javac))在何处查找用户类的方式。

您可以按如下所示设置此变量，然后尝试编译该类。

export CLASSPATH=$CLASSPATH:/Users/oladotunopasina/hadoop-1.2.1/hadoop-core-1.2.1.jar

有效地将包含字母的字符串转换为Int-Apache Spark - java

我正在使用将用户作为字符串的数据集（即B000GKXY4S）。我想将这些用户中的每一个都转换为int，因此可以在Apache Spark ALS中使用Rating（user：Int，product：Int，rating：Double）类。最有效的方法是什么？最好使用Spark Scala函数或python本机函数。 参考方案 如果只想将任何可匹配的Strin…

Apache CXF客户端代理设置 - java

我正在尝试使用的教程来开发Soap Consumer for Soap Service。http://cxf.apache.org/docs/developing-a-consumer.html在“使用上下文设置连接属性”部分中，我正在看下面的代码// Set request context property. java.util.Map<String…

Hadoop是否适合运行模拟？ - java

用Java编写了一个随机模拟，该模拟从磁盘上的几个CSV文件加载数据(总计约100MB)，并将结果写入另一个输出文件(数据不多，只有布尔值和几个数字)。还有一个参数文件，对于不同的参数，模拟输出的分布可能会发生变化。为了确定正确/最佳的输入参数，我需要针对多个输入参数配置运行多个模拟，并查看每组中输出的分布。根据参数和随机性，每次仿真需要0.1-10分钟。我…

Hadoop发行差异 - java

有人可以概述可用的各种Hadoop发行版之间的各种差异吗？ Cloudera -http://www.cloudera.com/hadoop 雅虎-http://developer.yahoo.net/blogs/hadoop/ 以Apache Hadoop发行版为基准。在标准Apache Hadoop发行版上使用这些发行版之一，是否有充分理由？ 参考方案 …

在这种情况下，如何为Hadoop编写分区程序？ - java

我有一个像“签名[空白]日期[空白]时间”这样的钥匙，但我希望所有在同一容器中具有相同签名的钥匙。对于这种情况如何写一个partioner？最好的祝福， 参考方案 默认情况下，使用HashParititioner，整个哈希码用于计算reducer数量。为了完成您的任务，您可以仅散列部分密钥（在您的情况下为签名），并且具有相同签名的所有密钥都将分配给同一red…