eclipse连接远程hadoop集群开发时报错
错误信息:
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
解决方案(经笔者在hadoop1.2.0+jdk1.7下验证通过):
0.安装jdk,ant,并且配置好环境变量
安装配置jdk不再多说,ant参考我的文章:
http://blog.csdn.net/shan9liang/article/details/8948646
1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下
2.修改hadoop-1.2.0\src\core\org\apache\hadoop\fs下的FileUtil类
private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
}
将这个抛异常操作注释掉或者把throw new IOException改为LOG.warn
3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:
user=`whoami` #此处修改成固定值,如user=jialin
3、修改$HADOOP_HOME\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf"
dir="${c++.task-controller.src}"
searchpath="yes" failonerror="yes">
<arg value="-i"/>
</exec>
共有6处,将该语言块删除
4、 修改hadoop安装目录下的\build.xml 指定java版本<property name="javac.version" value="1.6"/> 如是1.7就改为1.7
5、在命令行切换到$HADOOP_HOME,执行ant
6、用新生成的$HADOOP_HOME\build\hadoop-core-1.*.*-SNAPSHOT.jar替换nutch的hadoop-core-*.*.*.jar
分享到:
相关推荐
eclipse连接远程hadoop集群开发时权限不足问题解决方案 (2).pdfeclipse连接远程hadoop集群开发时权限不足问题解决方案 (2).pdf
windows下 eclipse操作hadoop集群 插件
eclipse连接远程hadoop集群开发时0700问题解决方案。修改源码,重新编译后hadoop-core-1.2.0
Win10的eclipse连接CentOS的Hadoop集群 首先你得现在Windows上安装好eclipse 1.下载eclipse连接hadoop的插件 ,去下载符合你hadoop版本的插件,然后放入eclipse安装目录下的plugins目录下
第6讲:eclipse与Hadoop集群连接
Hadoop_Hadoop集群(第7期)_Eclipse开发环境设置 Hadoop_Hadoop集群(第8期)_HDFS初探之旅 Hadoop_Hadoop集群(第9期)_MapReduce初级案例 Hadoop_Hadoop集群(第10期)_MySQL关系数据库 Web(Json-Lib类库使用...
Map-Reduce原理体系架构和工作机制,eclipse与Hadoop集群连接
《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...
myEclipse10.0与hadoop集群远程连接
Hadoop伪分布式部署文档(包括服务器伪分布式部署,本地hadoop开发环境部署,eclipse远程连接Hadoop服务器,实测无数遍,综合网上无数文档)
Eclipse中远程调试Hadoop必备资料:hadoop-eclipse-plugin-1.1.1和hadoop-core-1.0.2-modified;已经在eclipse-jee-juno-SR1-win32-x86_64和hadoop1.1.1 下测试过。
windows Eclipse远程调用Hadoop
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
Hadoop集群程序设计与开发教材最终代码.zip
eclipse远程调试出现Exception in thread “main” java.lang.UnsatisfiedLinkError,eclipse4.5远程调试hadoop2.7.4依赖包 ,方法 将匹配的hadoop.dll、winutils.exe、libwinutils.lib拷贝到C:\Windows\System32 详情...
本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行...
hadoop安装时,会遇到不同问题,这里只是列举我自己遇到的问题
eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例
手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。
目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个...2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3.只需要在eclipse中“Run on Hadoop",不需要自己打包上传运行。