๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

node

(1)
์ œ 33์žฅ ๐Ÿ“”Hadoop๐Ÿ“” part2_HDFS ๐Ÿค“ HDFS(Hadoop Distributed FileSystem) ์ „ ์‹œ๊ฐ„์— ๋‹ค๋ค˜๋˜ HDFS์— ๋Œ€ํ•ด ์ข€ ๋” ์ž์„ธํžˆ ์•Œ์•„๋ณด์ž 1. ํŠน์ง• HDFS๋Š” ๋ธ”๋ก๋‹จ์œ„๋กœ ๋‚˜๋ˆ„์–ด ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค๋ฉด ๋ธ”๋ก๋‹จ์œ„๊ฐ€ 256MB๋ผ๊ณ  ๊ฐ€์ •ํ•ด๋ณด๋ฉด 1G์˜ ํŒŒ์ผ์„ 4๊ฐœ์˜ ๋ธ”๋ก์œผ๋กœ ๋‚˜๋ˆ„์–ด ์ €์žฅํ•ฉ๋‹ˆ๋‹ค ํ•˜๋‚˜์˜ ๋ธ”๋ก๋‹จ์œ„ ๋ณด๋‹ค ์ž‘์€ ํฌ๊ธฐ์˜ ํŒŒ์ผ์˜ ๊ฒฝ์šฐ์—๋Š” ๋‚˜๋ˆ„์ง€ ์•Š๊ณ  ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ๋ธ”๋ก์˜ ๋ฐ์ดํ„ฐ ์†์‹ค์„ ๋ง‰๊ธฐ์œ„ํ•œ ๋ฐฉ์ฑ…์œผ๋กœ ๋ธ”๋ก์„ ๋ณต์ œํ•˜์—ฌ ์ค‘๋ณต ์ €์žฅ์„ ํ•˜๊ฒŒ ๋˜๋Š”๋ฐ ๊ทธ๋งŒํผ์˜ ์ €์žฅ๊ณต๊ฐ„์ด ๋” ํ•„์š”ํ•˜๋‹ค๊ณ  ๋ณผ ์ˆ˜ ์žˆ๋‹ค. 2. ๊ตฌ์กฐ(Architecture) HDFS๋Š” ๋งˆ์Šคํ„ฐ ์Šฌ๋ ˆ์ด๋ธŒ ๊ตฌ์กฐ์ž…๋‹ˆ๋‹ค. ๋ถ„์‚ฐ์ฒ˜๋ฆฌ ์‹œ์Šคํ…œ์ด๊ธฐ ๋•Œ๋ฌธ์— MapReduce์™€ HDFS๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ Master์™€ Slave์˜ ๊ด€์ ์œผ๋กœ ๊ตฌ๋ถ„์ด ๋ฉ๋‹ˆ๋‹ค. ์‰ฝ๊ฒŒ ๋งํ•˜๋ฉด, ๋ถ„์‚ฐ๋˜์–ด์ ธ ์žˆ๋Š” ๊ฒƒ๋“ค..