type
status
date
slug
summary
tags
category
icon
password
本次設計共四節點：1個master+3個slave。
集群環境準備
每臺機器配置hostname、hosts
新建hadoop用戶
以下均以Hadoop執行
需將
/opt、/usr/local/java/等目錄所有者改為hadoop各節點配置免密登錄
JDK 安裝與配置
JDK手動安裝到/usr/lib/java
JDK環境變數的配置
vi /etc/profile.d/java.sh使profile生效，驗證java版本
Hadoop 部署與配置
hadoop安裝包到
/opt；修改所有者；配置軟鏈接；配置日誌路徑
/opt/hadoop-3.2.3/etc/hadoop/log4j.properties配置Hadoop環境變數
source /etc/profileHadoop檔配置
配置檔都在/opt/hadoop/etc/hadoop/檔夾下
hadoop-env.sh、core-site.xml、hdfs-site.xml（其餘workers、mapred-site.xml、yarn-site.xml等內容略）jdk環境變數 （要遠程調用
${java_home}）core-site.xml
hdfs-site.xml
Hadoop 驗證
首先格式化
只能格式化一次，如出現問題需重新格式化參考下方操作預處理（數據會全部丟失！！！）
啟動提示“Name or service not knownstname”
- 刪除
workers後重建檔
- 需查看
core-site.xml、hdfs-site.xml路徑，刪除hdfs對應目錄後重建目錄，
- 重新格式化hdfs
啟動、關閉服務測試
Spark on yarn部署、配置
vi /opt/spark/conf/spark-env.sh複製到其他node
- 配置Spark環境變數
- 配置好
worker，啟動spark節點
Hive配置
- 解決Hive與Hadoop之間guava版本的差異,copy hadoop中的guava到hive
- 驅動包放到hive/lib下，
mssql-jdbc-7.4.1.jre8.jar
- 配置
hive-site.xml、hive-env.sh
- 初始化元數據
Failed to initialize pool: 驅動程式無法通過使用安全套接字層(SSL)加密與 SQL Server 建立安全連接。unable to find valid certification path to requested target
修改jre\lib\security\java.security，刪除jdk.tls.disabledAlgorithms中的3DES_EDE_CBC
安全配置相關
Hadoop3.0開始默認端口的更改
Namenode 端口:
https服務的端口
50470 → 9871NameNode web管理端口
50070 → 9870配置檔hdfs-site.xmlnamenode RPC交互端口,用於獲取檔系統metadata資訊。
8020 → 9820配置檔core-site.xmlSecondary NN 端口:
暫未了解到
50091 → 9869secondary NameNode web管理端口
50090 → 9868Datanode 端口:
datanode的IPC伺服器地址和端口
50020 → 9867配置檔hdfs-site.xmldatanode控制端口,用於數據傳輸
50010 → 9866配置檔hdfs-site.xmlhttps服務的端口
50475 → 9865datanode的HTTP伺服器和端口
50075 → 9864配置檔hdfs-site.xml其他需要放行的端口
job tracker交互端口
8021Hive服務端口
10000:10002spark web UI端口
4040：spark-defaults.conf中spark.ui.portspark master註冊
7077spark masterUI
8080; spark WorkerUI8081- Po主:瓶幾¬_¬
- 链接:https://blog.v2cu.com/Hadoop-Spark
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。