Kỹ năng Big Data

GS John Vu20/11/2023 11:00
Kỹ năng Big Data

Một sinh viên hỏi tôi: “Em cần kĩ năng nào để làm việc trong khu vực Big Data?” “Em có thể học những kĩ năng này ở đâu?” Xin thầy lời khuyên.”

Đáp: Big Data là khu vực đang nổi lên trong công nghệ thông tin (CNTT) giải quyết với việc xây dựng “sản phẩm dữ liệu” dựa trên các thuật toán phức tạp. Nó là tổ hợp của các khu vực công nghệ tính toán, toán học, và quản lí dữ liệu. Kĩ năng Big Data thường được dạy trong chương trình bằng thạc sĩ (thạc sĩ trong khoa học máy tính chuyên môn hoá trong Big Data hay thạc sĩ trong công nghệ thông tin trong phân tích dữ liệu v.v).

Là bằng thạc sĩ, nó yêu cầu rằng bạn phải có bằng cử nhân trong khoa học máy tính, kĩ nghệ phần mềm hay quản lí hệ thông tin để xin vào. Điều đó cũng có nghĩa là bạn phải có kĩ năng lập trình mạnh trong Java, C++ hay Python, có tri thức tốt về cấu trúc dữ liệu và thuật toán, và hiểu vòng đời phát triển phần mềm, đặc biệt cho phần mềm thực hiện các nhiệm vụ phức tạp.

Trong chương trình này bạn sẽ học vài môn trong trí tuệ nhân tạo (AI) như Học máy và thống kê để phát triển các thuật toán giải quyết với tập dữ liệu lớn. Bạn sẽ học về vài thuật toán được dùng trong học máy, chúng giải quyết các vấn đề nào, và chúng được thực hiện thế nào. (tức là, động cơ khuyến cáo, cây quyết định, xử lí ngôn ngữ tự nhiên v.v.) Bạn cũng học vài môn trong công cụ mô hình hoá như R hay Matlab hay SAS. Các công cụ phân tích thống kê và trực quan hoá là rất quan trọng trong công việc Big Data để thực hiện phân tích hồi qui, phân tích kết cụm, và phân lớp dữ liệu.

Để giải quyết với tập dữ liệu lớn, bạn cũng cần học các môn về Hadoop, MapReduce, NonSQL, Pig và Hive và Mahout.

Big Data là mới và vẫn đang tiến hoá. Bạn phải học nhiều các kĩ năng kĩ thuật và đưa vào thực hành để thu lấy kinh nghiệm. Do đó phát triển các kĩ năng Big Data, sẽ cần thời gian, công sức để làm việc như chuyên viên dữ liệu hay nhà khoa học dữ liệu. Ngày nay Big Data là một trong những khu vực có nhu cầu cao với trả lương cao trong công nghiệp bởi vì có thiếu hụt trầm trọng về những kĩ năng này.

English version

Big Data skills

A student asked me: “What skills do I need to work in the Big Data area?” “Where can I learn these skills?” Please advice.

Answer: Big Data is an emerging area of Information Technology (IT) that deals with building “data products” based on complex algorithms. It is a combination of computing technology, mathematics, and data management areas. Big Data Skills are often taught in a Master’s degree program (Master in Computer Science that specialize in Big Data or Master in Information Technology in Data Analytics etc.).

As a Master’s degree, it requires that you have a Bachelor’s degree in Computer Science, Software Engineering or Information System Management to apply. That also means that you must have a strong programming skills in Java, C++ or Python, have good knowledge of data structures and algorithms, and understand software development lifecycle, especially for software that perform complex tasks.

In this program you will take a few courses in Artificial Intelligence (AI) such as Machine Learning and Statistics to develop algorithms that deal with large datasets. You will learn about several algorithms used in machine learning, which problems they solve, and how they are implemented. (i.e., recommendation engines, decision trees, Natural Language Processing etc.) You also take several courses in modeling tools such as R or Matlab or SAS. These statistical analysis and visualization tools are very important in Big Data works to perform regression analysis, clustering analysis, and data classification.

To deal with large datasets, you also need to take courses to learn about Hadoop, MapReduce, NonSQL, Pig and Hive and Mahout.

Big Data is new and is still evolving. You have to learn a lot of technical skills and put into practice to gain experience. Therefore to develop Big Data skills, it will take time, effort to work as a Data Specialist or Data Scientist. Today Big Data is one of the area that has highest demand with the highest paid in the industry because there is a critical shortage of these skills.

 


Gửi bình luận
(0) Bình luận
1

Kỹ năng và tiến bộ

Cái nhìn truyền thống của đào tạo về Khoa học máy tính là phát triển người lập trình để viết mã và sửa lỗi.

Tại sao vào đại học?

Một sinh viên viết: “Nhiều người tốt nghiệp đại học mà không thể tìm được việc làm; vậy tại sao vào đại học? Trường nghề có là chọn lựa tốt hơn không? Xin thầy lời khuyên.”

Cuộc chiến yên tĩnh về công nhân có kỹ năng

Trong hai trăm năm qua, các nước đã cạnh tranh và đánh nhau về các nguồn tài nguyên tự nhiên, nhưng ngày nay họ cạnh tranh và đánh nhau về công nhân có kĩ năng. Một cuộc chiến toàn cầu yên tĩnh về công nhân có kĩ năng đã diễn ra nhưng ít người để ý.

Bài học từ Estonia

Khi Estonia giành lại độc lập vào năm 1991, chỉ một phần ba dân số có điện thoại; chỉ các văn phòng chính phủ hay công ti lớn mới có máy tính cá nhân. Ít người thậm chí biết tới Internet hay nghe nói về Apple hay Microsoft.

Hành vi của sinh viên trong lớp

“Thầy xử lí thế nào khi sinh viên gửi email và nhắn tin điện thoại khi thầy đang giảng bài? Rồi những sinh viên xem YouTube trong lớp? Chúng ta có nên cấm họ đem các thiết bị điện tử vào lớp không? Xin thầy lời khuyên.”

Xu hướng mới: Khoán ngoài phần cứng, khoán trong phần mềm

Người ta dự đoán rằng trong vài năm nữa, phần lớn việc khoán ngoài phần mềm sẽ biến mất.

Trận chiến mới trong tính toán đám mây

Ngày nay “Tính toán mây” là “nóng” vì ngày càng nhiều công ti đang chuyển vào mây.

Tính toán đám mây: Miền mới, kỹ năng mới

Ngày nay nhiều công ti đang chuyển vào trong tính toán mây để giảm chi phí bằng việc tránh chi tiêu vào các cấu phần công nghệ thông tin (CNTT) hay nâng cấp kết cấu nền của riêng họ.

Dịch vụ tính toán đám mây

“Nhiều người nói rằng tính toán đám mây chỉ dành cho công ti lớn ở các nước đã phát triển như Mĩ hay Anh nhưng sẽ không có tác dụng cho công ti nhỏ ở nước đang phát triển. Xin thầy lời khuyên.”

Kỹ năng và tiến bộ

Blog GS John VU - GS John Vu - 06/06/2025 13:00
Cái nhìn truyền thống của đào tạo về Khoa học máy tính là phát triển người lập trình để viết mã và sửa lỗi.

Xem Sex Education, tôi chép lại 1 câu, ai ngờ sau này giúp tôi vực dậy cậu con trai đang suy sụp

Điện ảnh - Thanh Hương - 06/06/2025 12:00
Tôi hiểu – cái khoảnh khắc đó, con tôi không yếu đuối. Nó đang can đảm hơn bao giờ hết.

Người dùng iPhone và Android có thể sử dụng Photoshop miễn phí

Kỹ năng - Nam Đoàn - 06/06/2025 11:00
Sau thời gian dài được người dùng Android trông đợi, "gã khổng lồ" phần mềm Adobe cuối cùng cũng mang phiên bản thử nghiệm beta của Photoshop lên nền tảng này.

Người thông minh quá hóa ra lại gây khó chịu vì 5 điều sau

Suy ngẫm - Đông - 06/06/2025 10:00
Thông minh là tốt, nhưng đừng làm điều gì thái quá nhé vì rất dễ khiến người khác khó chịu đấy.

Không còn bệnh tim - Sức mạnh phi thường của phân tử NO kỳ diệu

Từ sách - Phim - TĐ - 06/06/2025 09:00
NO là một trong những phân tử đơn giản nhất được tạo thành bởi hai nguyên tử là nitơ (N) và oxi (O). Tuy có cấu trúc đơn giản nhưng oxit nitric hiện được xem là phân tử quan trọng nhất đối với tình trạng sức khỏe.

Quẳng gánh lo đi và vui sống - Đừng để stress bào mòn bạn mỗi ngày, lời khuyên hiệu quả từ Dale Carnegie

Từ sách - Phim - Quìn - 06/06/2025 08:00
Cuốn sách "Quẳng gánh lo đi và vui sống" (How to stop worrying and start living) của Dale Carnegie đã giúp hàng triệu người trên thế giới vượt qua những ngày tháng đầy căng thẳng, tìm lại sự bình yên trong tâm trí và sống một cuộc đời nhẹ nhõm hơn.

Không hề đi máy bay, người đàn ông này đã đến mọi quốc gia trên thế giới

Phong cách sống - An Nhi - 05/06/2025 13:00
Nhà thám hiểm người Đan Mạch Thor Pedersen trở thành người đầu tiên và duy nhất đến thăm 203 quốc gia trên thế giới mà không lên một chuyến bay nào.

Được con gái 15 tuổi rủ xem "Sex Education", người mẹ còn sốc hơn khi con bảo 'Sống tử tế với chính mình khó mẹ nhỉ?'

Điện ảnh - Ứng Hà Chi - 05/06/2025 12:00
Có những điều người lớn phải mất cả đời cũng chưa chắc hiểu thấu.

Tổng đài AI hỗ trợ thủ tục hành chính cho người dân và doanh nghiệp

Kỹ năng - Tuyết Nhung - 05/06/2025 11:00
Bộ Xây dựng đã triển khai tổng đài thông minh ứng dụng trí tuệ nhân tạo (AI) hỗ trợ thủ tục hành chính.

Đây là cô Hoa hậu khiến tôi phải dạy con noi theo, đời sẽ không vùi dập con được!

Suy ngẫm - Minh Châu - 05/06/2025 10:00
Cô Hoa hậu này dạy tôi một bài học làm mẹ: Hãy cho con quyền được sai, nhưng dạy con cách sửa sai trong im lặng, bằng tử tế và bằng kiên trì.

Ánh sáng trong ta - Dù là mặt trời chói chang hay chỉ là ngọn nến lập lòe, chúng ta đều ẩn chứa tia sáng của riêng mình!

Từ sách - Phim - Quìn - 05/06/2025 09:00
Tia sáng đến từ sự bản lĩnh khi ta dám đứng dậy sau những vấp ngã tưởng chừng như không thể gượng dậy, là khả năng thích nghi giữa thế giới thay đổi không ngừng, hay đôi khi chỉ là một lời cảm ơn chân thành và một cái nắm tay ấm áp trao đi.

Cuộc đời phía trước - Giáo dục không phải để sợ hãi

Từ sách - Phim - Quìn - 05/06/2025 08:00
Chúng ta đều biết giáo dục quan trọng thế nào, nhưng liệu bạn đã từng dừng lại để tự hỏi: Giáo dục thực sự là gì? Có phải chúng ta đang học chỉ vì sợ hãi, sợ bị điểm kém, sợ bị cha mẹ hay thầy cô đánh giá, sợ không đạt được kỳ vọng? …

Xem "Sex Education", tôi nhận ra: Muốn con tự tin, hãy nói câu thần chú sau

Điện ảnh - Ứng Hà Chi - 04/06/2025 13:00
Muốn con tự tin, cha mẹ đừng áp đặt quá nhiều kỳ vọng, hãy để con tự do phát triển theo cách riêng.

Người đàn ông Nam Định "thu nhỏ" nhà cổ, kiếm hàng chục triệu đồng

Phong cách sống - Mộc Khải - 04/06/2025 12:00
Những mô hình nhà cổ do anh Dũng thực hiện khiến nhiều người trầm trồ vì độ tỉ mỉ, chi tiết. Các mô hình này vừa khiến anh Dũng thỏa mãn đam mê, vừa giúp anh mang về thu nhập đáng kể.

5 dấu hiệu chứng minh bạn đang bị AI dần thay thế

Kỹ năng - Nguyễn Phượng - 04/06/2025 11:00
Trí tuệ nhân tạo (AI) đang ngày càng trở nên thông minh hơn và làm được nhiều điều khiến con người phải kinh ngạc. Từ đó, đe dọa trực tiếp tới vị trí của các nhân sự trẻ.
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS
Thứ 7, 07/06/2025