数码资讯
linux下的Hadoop配置过程
评论：折腾Hadoop很长时间了，在几次完全推开的时候，现在写下来备份。这篇文章不是给别人写的，而是提醒我自己。如果您碰巧看到这篇文章，您可能需要一些Linux的基本知识来正确理解。 1，安装Linux 本文认为，从裸机开始，它必须先安装Linux。我是Ubuntu的支持者，所以它是Ubuntu，废
选购提示
关注价格、性能、续航、售后和真实使用场景，理性比较后再下单。
评论：折腾Hadoop很长时间了，在几次完全推开的时候，现在写下来备份。这篇文章不是给别人写的，而是提醒我自己。如果您碰巧看到这篇文章，您可能需要一些Linux的基本知识来正确理解。
1，安装Linux
本文认为，从裸机开始，它必须先安装Linux。我是Ubuntu的支持者，所以它是Ubuntu，废话不，假装很容易。在安装过程中，要知道所有的节点应该定期的主机名，如相等，node1，node2…
2，做好准备
软件安装、使用容易，本软件需要连接到互联网，如果你的速度很慢，或者干脆不连接到外部网络（这是网络教育的一个普遍现象），从互联网的电脑在Ubuntu / / /无功/对APT缓存在deb文件档案夹的安装（什么你问我为什么我不想要这个文件夹里的包裹。这个文件夹在缓存文件夹中很合适，而且有一些东西你想在里面获取，我不需要提醒你怎么做。
Ubuntu已经默认安装OpenSSH客户端，需要安装openssh-server.the顺序如下：
复制代码代码如下所示：
sudo apt-get install OpenSSH服务器
然后JDK：
复制代码代码如下所示：
sudo apt-get install默认JDK
3、配置网络
如果你的节点可以通过DHCP服务器获取IP，我个人建议，原因是，原因很简单，不是如何配置它。或者你可以使用静态IP是一个强大的Linux的丹尼尔，应该能够通过命令行设置一个静态IP，但我不会我通常设置在设置GNOME网络管理器的IP对。如果你没有一个图形界面的Linux，请谷歌。
在设置IP地址之后，内存将给每一个节点提供一个名称，比如主机名，最好是主机名，这有助于下面的配置和管理。
Hadoop要求每个节点都可以用ssh登录，而不必输入密码。我使用了一种比官方方法更简单的方法，但是据说安全性有点问题：
在节点上执行下列命令：
复制代码代码如下所示：
RM
复制代码代码如下所示：
ssh-keygen -t rsa
在这个命令之后，您需要多次向后返回，并知道命令提示符再次出现。当然，这种做法并不十分安全。有一个输入键的地方。官方建议是输入歌词。哈哈，这个建议很好笑。当然，在我的步骤中，这个键是空值。
复制代码代码如下所示：
猫~ / / id_rsa.pub > >。SSH authorized_keys
然后对所有的节点对整个ssh文件夹进行测试。特定的方法可以使用SCP命令，并且不指定特定的命令，因为它与特定的环境有关。
所以网络设置正确。
4，安装Hadoop
解压，这是更简单的，命令不写。把位置最好的办法就是每个Hadoop是相同的。有不同的后果。我没有试过。
之后，有一些配置要做。首先，解压缩后的目录去conf文件夹，并修改配置文件，包括hadoop-env.sh hadoop-site.xml主人的奴隶。
在hadoop-env.sh，希望下面一行注释：
复制代码代码如下所示：
出口java_home = / / /家Hadoop jdk1.6.0_16 /
当然，具体的价值也要根据具体情况而改变。
其次是hadoop-site.xml，以下是我的文件的内容。
复制代码代码如下所示：
fs.default.name
Hdfs： / / node0:6000
mapred.job.tracker
node0:6001
这个例子非常简单，没有解释。
大师是主机名称或IP地址和JobTracker NameNode节点。我的主文件中只有一行。当然，如果要将多个节点设置为主节点，也可以。
奴隶是主机名称或IP地址的所有TaskTracker和DataNode。
5、操作
进入Hadoop安装文件夹，然后依次运行以下命令：
复制代码代码如下所示：
斌/ Hadoop NameNode格式
斌/ start-all.sh
没有意外，现在Hadoop可以使用。
Hadoop是一个分布式系统基础架构，由Apache基金会开发，用户可以开发分布式程序不了解分布式底层细节。它充分利用了功率高速群集的操作和存储。Hadoop实现了一个分布式文件系统（HDFS分布式文件系统），称为hdfs.hdfs具有高容错性好的特点，是设计为部署在低（低成本）的硬件。而且，它提供高传输率（high throughput）来访问应用程序的数据，适合于这些应用，大数据set.hdfs放松的表单中的数据（streaming access）的文件系统，可以在形式的访问（POSIX（要求放松）的要求）。
1，安装Linux
本文认为，从裸机开始，它必须先安装Linux。我是Ubuntu的支持者，所以它是Ubuntu，废话不，假装很容易。在安装过程中，要知道所有的节点应该定期的主机名，如相等，node1，node2…
2，做好准备
软件安装、使用容易，本软件需要连接到互联网，如果你的速度很慢，或者干脆不连接到外部网络（这是网络教育的一个普遍现象），从互联网的电脑在Ubuntu / / /无功/对APT缓存在deb文件档案夹的安装（什么你问我为什么我不想要这个文件夹里的包裹。这个文件夹在缓存文件夹中很合适，而且有一些东西你想在里面获取，我不需要提醒你怎么做。
Ubuntu已经默认安装OpenSSH客户端，需要安装openssh-server.the顺序如下：
复制代码代码如下所示：
sudo apt-get install OpenSSH服务器
然后JDK：
复制代码代码如下所示：
sudo apt-get install默认JDK
3、配置网络
如果你的节点可以通过DHCP服务器获取IP，我个人建议，原因是，原因很简单，不是如何配置它。或者你可以使用静态IP是一个强大的Linux的丹尼尔，应该能够通过命令行设置一个静态IP，但我不会我通常设置在设置GNOME网络管理器的IP对。如果你没有一个图形界面的Linux，请谷歌。
在设置IP地址之后，内存将给每一个节点提供一个名称，比如主机名，最好是主机名，这有助于下面的配置和管理。
Hadoop要求每个节点都可以用ssh登录，而不必输入密码。我使用了一种比官方方法更简单的方法，但是据说安全性有点问题：
在节点上执行下列命令：
复制代码代码如下所示：
RM
复制代码代码如下所示：
ssh-keygen -t rsa
在这个命令之后，您需要多次向后返回，并知道命令提示符再次出现。当然，这种做法并不十分安全。有一个输入键的地方。官方建议是输入歌词。哈哈，这个建议很好笑。当然，在我的步骤中，这个键是空值。
复制代码代码如下所示：
猫~ / / id_rsa.pub > >。SSH authorized_keys
然后对所有的节点对整个ssh文件夹进行测试。特定的方法可以使用SCP命令，并且不指定特定的命令，因为它与特定的环境有关。
所以网络设置正确。
4，安装Hadoop
解压，这是更简单的，命令不写。把位置最好的办法就是每个Hadoop是相同的。有不同的后果。我没有试过。
之后，有一些配置要做。首先，解压缩后的目录去conf文件夹，并修改配置文件，包括hadoop-env.sh hadoop-site.xml主人的奴隶。
在hadoop-env.sh，希望下面一行注释：
复制代码代码如下所示：
出口java_home = / / /家Hadoop jdk1.6.0_16 /
当然，具体的价值也要根据具体情况而改变。
其次是hadoop-site.xml，以下是我的文件的内容。
复制代码代码如下所示：
fs.default.name
Hdfs： / / node0:6000
mapred.job.tracker
node0:6001
这个例子非常简单，没有解释。
大师是主机名称或IP地址和JobTracker NameNode节点。我的主文件中只有一行。当然，如果要将多个节点设置为主节点，也可以。
奴隶是主机名称或IP地址的所有TaskTracker和DataNode。
5、操作
进入Hadoop安装文件夹，然后依次运行以下命令：
复制代码代码如下所示：
斌/ Hadoop NameNode格式
斌/ start-all.sh
没有意外，现在Hadoop可以使用。
Hadoop是一个分布式系统基础架构，由Apache基金会开发，用户可以开发分布式程序不了解分布式底层细节。它充分利用了功率高速群集的操作和存储。Hadoop实现了一个分布式文件系统（HDFS分布式文件系统），称为hdfs.hdfs具有高容错性好的特点，是设计为部署在低（低成本）的硬件。而且，它提供高传输率（high throughput）来访问应用程序的数据，适合于这些应用，大数据set.hdfs放松的表单中的数据（streaming access）的文件系统，可以在形式的访问（POSIX（要求放松）的要求）。
声明：本文内容用于数码产品信息整理与选购参考，具体价格、库存、售后政策以官方渠道和电商页面实时信息为准。