Windows环境搭建Hadoop源码阅读环境(爬坑)–不念过去,无畏将来

1.脱坑后的感受

每天早早的下班后,也是无趣.于是乎就想阅读下hadoop的源码,毕竟自己每天也要和Hadoop生态圈的这些东西打交道.

2.环境准备

缺安装包的朋友可以从下面的链接获取,有可能和我的版本不一致,问题不大.

注意,一定要为这些工具配置环境变量

链接:https://pan.baidu.com/s/1AWheywYcWRt-eTelSLYpNg 提取码:81bj

  1. 操作系统: Window10
  2. java 版本: 1.8.0_112
  3. maven: 3.5.3
  4. cmake:3.12.0-rc1
  5. protobuf:2.5.0
  6. protoc:2.5.0
  7. msbuild:安装vscode就会有的,但是要配置环境变量,也可以单独下载

2.1环境变量的配置

这里以msbuild&cmake为例:

  1. 找到msbuild&cmake的安装路径,复制路径
  2. 打开系统环境变量中的path变量
  3. 新建后把复制的路径粘贴进去
  4. 注意重新打开一个cmd窗口在验证是否配置成功.

自己配置的时候因为没重新打开cmd结果死活都搞出来,一直折腾到了晚上3点,当时都快哭了,曾一度想放弃,但是我是放弃的人吗…哈哈哈哈

image-20200613102525849

image-20200613103411853

image-20200613102633177

image-20200613103107725

安装完vscode,msbuild的路径应该和我一致,但不排除自定义位置的msbuild安装

打开新的cmd窗口查看版本,验证是否配置成功

image-20200613103600996

3.使用maven编译源码

国内用户一定要把仓库的地址换为阿里云,也可以直接修改源码根目录的pom.xml

仓库的setting.xml修改

image-20200613103839798

源码根目录的pom.xml文件修改

image-20200613104029042

3.1开始编译

注意一定要在bash环境下编译,可以使用GitBash环境,然后运行以下命令:mvn -DskipTests clean package,按下Enter就开始编译吧

image-20200613104738850

image-20200613104834669

3.2将编译好的hadoop源码通过pom.xml导入idea中

image-20200613105439055

image-20200613105506668

3.3后记

  • 编译过程中肯定会遇到各种问题,不要心急慢慢排查即可,百度是个好东西…
  • 动手能力强的建议自己搭建源码阅读环境,也可以使用我编译成功的
  • 注意最好不要使用包含中文字符及特殊符号的路径