Hive Là Gì

  -  

Thuật ngữ Big Data được áp dụng cho những cỗ tập tài liệu to con bao gồm khối lượng bự, vận tốc cao cùng nhiều loại dữ liệu sẽ tạo thêm từng giờ. Sử dụng những hệ thống làm chủ dữ liệu truyền thống, cực kỳ nặng nề nhằm cách xử lý Big data. Do kia, Quỹ phần mềm Apache (Apabịt Software Foundation) vẫn trình làng một framework tên là Hadoop để giải quyết những thử thách thống trị với xử trí Big data.

Bạn đang xem: Hive là gì

Hadoop

Hadoop là 1 framework open-source nhằm tàng trữ và cách xử lý Big data vào môi trường thiên nhiên phân tán. Nó cất nhị mô-đun, một là MapReduce và một mô-đun không giống là Hệ thống tệp phân tán Hadoop (Hadoop Distributed File System - HDFS).

MapReduce: Đây là mô hình lập trình tuy vậy tuy nhiên nhằm cách xử trí một lượng mập dữ liệu tất cả kết cấu, chào bán cấu tạo với ko cấu trúc bên trên những cụm Khủng của phần cứng thương thơm mại (commodity hardware).HDFS: Hệ thống tệp phân tán Hadoop là một phần của framework Hadoop, được thực hiện để tàng trữ với cách xử trí những bộ tài liệu. Nó cung cấp một khối hệ thống tập tin Chịu đựng lỗi nhằm chạy xe trên phần cứng tmùi hương mại.

Hệ sinh thái xanh Hadoop cất các sub-project (tool) khác biệt nhỏng Sqoop, Pig với Hive được áp dụng nhằm hỗ trợ những mô-đun Hadoop.

Sqoop: Nó được thực hiện nhằm nhập với xuất tài liệu cho cùng đi giữa HDFS cùng RDBMS.Pig: Đây là 1 nền tảng ngôn từ thủ tục được sử dụng để cách tân và phát triển tập lệnh cho các buổi giao lưu của MapReduce.

Xem thêm: Tìm Hiểu Về Các Loại Bơm Bù Áp Là Gì ? So Sánh Bơm Tăng Áp Và Bơm Bù Áp

Hive: Đây là một nền tảng được thực hiện nhằm cải tiến và phát triển những tập lệnh các loại SQL để triển khai các chuyển động MapReduce.

Chụ ý: Có nhiều phương pháp khác biệt nhằm thực hiện các chuyển động MapReduce:

Cách tiếp cận truyền thống lịch sử thực hiện công tác Java MapReduce đến dữ liệu tất cả kết cấu, phân phối kết cấu với không cấu trúc.Cách tiếp cận sử dụng câu lệnh mang lại MapReduce nhằm cách xử trí tài liệu gồm cấu tạo và bán cấu tạo bởi Pig.Ngôn ngữ tróc nã vấn Hive (Hivequốc lộ hoặc HQL) mang đến MapReduce nhằm cách xử trí dữ liệu tất cả cấu tạo bởi Hive sầu.Hive sầu là gì?

Hive là một trong những lý lẽ cơ sở hạ tầng kho dữ liệu để giải pháp xử lý tài liệu tất cả cấu tạo trong Hadoop. Nó nằm trên đỉnh Hadoop nhằm cầm tắt Dữ liệu bự và giúp truy tìm vấn với phân tích tiện lợi.

Ban đầu Hive được phát triển bởi vì Facebook, tiếp nối Quỹ Phần mềm Apache đã mang và cải tiến và phát triển nó thành một nguồn mngơi nghỉ dưới thương hiệu Apabịt Hive sầu. Nó được thực hiện bởi vì các cửa hàng khác nhau. Ví dụ: Amazon thực hiện nó trong Amazon Elastic MapReduce.

Hive không phải là:Một DataBase quan tiền hệMột xây cất để xử lý thanh toán giao dịch Online (OnLine Transaction Processing - OLTP)Một ngôn từ cho các tầm nã vấn thời gian thực và cập nhật cấp cho hàngkhác lại của HiveNó lưu trữ lược trang bị vào các đại lý tài liệu với cách xử trí dữ liệu vào HDFS.Nó có thiết kế cho OLAPhường.Nó hỗ trợ ngôn ngữ vẻ bên ngoài SQL để truy tìm vấn được điện thoại tư vấn là HiveQL hoặc Hquốc lộ.Nó là thân thuộc, hối hả, có công dụng mở rộng.Kiến trúc của Hive

Sơ trang bị tiếp sau đây trình bày bản vẽ xây dựng của Hive:

*
Sơ đồ vật thành phần này chứa những đơn vị chức năng không giống nhau.

User Interface: Hive sầu là một trong những phần mềm cơ sở hạ tầng kho tài liệu có thể tạo ra sự can dự thân người tiêu dùng với HDFS. Các đồ họa người tiêu dùng mà lại Hive sầu hỗ trợ là Hive sầu Web UI, Hive sầu commvà line cùng Hive sầu HD Insight (Trong máy chủ Windows).Meta Store: Hive lựa chọn các sever các đại lý dữ liệu khớp ứng nhằm lưu trữ lược trang bị hoặc metadata của các bảng, cơ sở tài liệu, những cột trong một bảng, những nhiều loại tài liệu của bọn chúng cùng ánh xạ HDFS.HiveQL Process Engine: Hivequốc lộ tương tự như nlỗi Squốc lộ nhằm tầm nã vấn lên tiếng lược đồ trên Metastore. Đây là 1 Một trong những sửa chữa của phương pháp truyền thống mang đến công tác MapReduce. Txuất xắc vì chưng viết lịch trình MapReduce bởi Java, chúng ta cũng có thể viết một tróc nã vấn mang lại quá trình MapReduce và xử lý nó.Execution Engine: Phần phối kết hợp của lý lẽ xử lý Hivequốc lộ và MapReduce là Công núm thực hiện Hive sầu (Hive sầu Execution Engine). Công cầm cố xúc tiến cách xử lý truy vấn cùng chế tạo ra kết quả giống hệt như tác dụng MapReduce.HDFS hoặc HBASE: Hệ thống tệp phân tán Hadoop hoặc HBASE là những nghệ thuật lưu trữ tài liệu nhằm tàng trữ dữ liệu vào khối hệ thống tệp.Cách thao tác của Hive

Sơ đồ gia dụng sau diễn tả các bước thao tác làm việc thân Hive cùng Hadoop.

*

Cách Hive cửa hàng với framework Hadoop:

Thực thi query: Giao diện Hive nlỗi Command line hoặc Giao diện người tiêu dùng website gửi truy vấn mang lại Trình điều khiển và tinh chỉnh (ngẫu nhiên trình tinh chỉnh đại lý tài liệu như thế nào như JDBC, ODBC, v.v.) nhằm thực hiện.Nhận kế hoạch: Trình điều khiển tất cả sự giúp sức của trình biên dịch truy vấn vấn nhằm so sánh cú pháp truy vấn vấn nhằm khám nghiệm cú pháp và kế hoạch tróc nã vấn hoặc yêu cầu của tróc nã vấn.Nhận metadata: Trình biên dịch gửi từng trải metadata đến Metastore (ngẫu nhiên các đại lý dữ liệu nào).Gửi metadata: Metastore gửi metadata nhỏng một đánh giá cho trình biên dịch.Gửi kế hoạch: Trình biên dịch soát sổ thử dùng với gửi lại chiến lược mang đến trình tinh chỉnh. Đến trên đây, Việc đối chiếu cú pháp và biên dịch một truy nã vấn đang hoàn tất.Kế hoạch thực hiện: Trình điều khiển gửi chiến lược thực hiện cho khí cụ xúc tiến.Thực thi công việc: Trong nội bộ, quá trình tiến hành công việc là một trong các bước MapReduce. Công chũm thực hiện gửi các bước cho JobTracker, trong node Name cùng nó gán công việc này mang đến TaskTracker, trong node Data. Tại trên đây, truy vấn vấn thực thi công việc MapReduce.

Xem thêm: Creative Nghĩa Là Gì - Trái Nghĩa Của Creative

Hoạt đụng metadata: Trong lúc tiến hành, vẻ ngoài thực thi rất có thể thực hiện những hoạt động metadata với Metastore.Lấy kết quả: Công cụ thực thi nhận tác dụng từ bỏ các node Data.Gửi kết quả: Công cầm thực hiện gửi các quý giá kết quả đó cho trình điều khiển.Gửi kết quả: Trình điều khiển và tinh chỉnh gửi công dụng cho Giao diện Hive.