Kỹ năng Big Data

GS John Vu20/11/2023 11:00
Kỹ năng Big Data

Một sinh viên hỏi tôi: “Em cần kĩ năng nào để làm việc trong khu vực Big Data?” “Em có thể học những kĩ năng này ở đâu?” Xin thầy lời khuyên.”

Đáp: Big Data là khu vực đang nổi lên trong công nghệ thông tin (CNTT) giải quyết với việc xây dựng “sản phẩm dữ liệu” dựa trên các thuật toán phức tạp. Nó là tổ hợp của các khu vực công nghệ tính toán, toán học, và quản lí dữ liệu. Kĩ năng Big Data thường được dạy trong chương trình bằng thạc sĩ (thạc sĩ trong khoa học máy tính chuyên môn hoá trong Big Data hay thạc sĩ trong công nghệ thông tin trong phân tích dữ liệu v.v).

Là bằng thạc sĩ, nó yêu cầu rằng bạn phải có bằng cử nhân trong khoa học máy tính, kĩ nghệ phần mềm hay quản lí hệ thông tin để xin vào. Điều đó cũng có nghĩa là bạn phải có kĩ năng lập trình mạnh trong Java, C++ hay Python, có tri thức tốt về cấu trúc dữ liệu và thuật toán, và hiểu vòng đời phát triển phần mềm, đặc biệt cho phần mềm thực hiện các nhiệm vụ phức tạp.

Trong chương trình này bạn sẽ học vài môn trong trí tuệ nhân tạo (AI) như Học máy và thống kê để phát triển các thuật toán giải quyết với tập dữ liệu lớn. Bạn sẽ học về vài thuật toán được dùng trong học máy, chúng giải quyết các vấn đề nào, và chúng được thực hiện thế nào. (tức là, động cơ khuyến cáo, cây quyết định, xử lí ngôn ngữ tự nhiên v.v.) Bạn cũng học vài môn trong công cụ mô hình hoá như R hay Matlab hay SAS. Các công cụ phân tích thống kê và trực quan hoá là rất quan trọng trong công việc Big Data để thực hiện phân tích hồi qui, phân tích kết cụm, và phân lớp dữ liệu.

Để giải quyết với tập dữ liệu lớn, bạn cũng cần học các môn về Hadoop, MapReduce, NonSQL, Pig và Hive và Mahout.

Big Data là mới và vẫn đang tiến hoá. Bạn phải học nhiều các kĩ năng kĩ thuật và đưa vào thực hành để thu lấy kinh nghiệm. Do đó phát triển các kĩ năng Big Data, sẽ cần thời gian, công sức để làm việc như chuyên viên dữ liệu hay nhà khoa học dữ liệu. Ngày nay Big Data là một trong những khu vực có nhu cầu cao với trả lương cao trong công nghiệp bởi vì có thiếu hụt trầm trọng về những kĩ năng này.

English version

Big Data skills

A student asked me: “What skills do I need to work in the Big Data area?” “Where can I learn these skills?” Please advice.

Answer: Big Data is an emerging area of Information Technology (IT) that deals with building “data products” based on complex algorithms. It is a combination of computing technology, mathematics, and data management areas. Big Data Skills are often taught in a Master’s degree program (Master in Computer Science that specialize in Big Data or Master in Information Technology in Data Analytics etc.).

As a Master’s degree, it requires that you have a Bachelor’s degree in Computer Science, Software Engineering or Information System Management to apply. That also means that you must have a strong programming skills in Java, C++ or Python, have good knowledge of data structures and algorithms, and understand software development lifecycle, especially for software that perform complex tasks.

In this program you will take a few courses in Artificial Intelligence (AI) such as Machine Learning and Statistics to develop algorithms that deal with large datasets. You will learn about several algorithms used in machine learning, which problems they solve, and how they are implemented. (i.e., recommendation engines, decision trees, Natural Language Processing etc.) You also take several courses in modeling tools such as R or Matlab or SAS. These statistical analysis and visualization tools are very important in Big Data works to perform regression analysis, clustering analysis, and data classification.

To deal with large datasets, you also need to take courses to learn about Hadoop, MapReduce, NonSQL, Pig and Hive and Mahout.

Big Data is new and is still evolving. You have to learn a lot of technical skills and put into practice to gain experience. Therefore to develop Big Data skills, it will take time, effort to work as a Data Specialist or Data Scientist. Today Big Data is one of the area that has highest demand with the highest paid in the industry because there is a critical shortage of these skills.

 


Gửi bình luận
(0) Bình luận
1

Làm việc theo tổ

Trong cuộc họp, nhiều cựu sinh viên tới gặp tôi kể về việc “Làm việc theo tổ”. Họ bảo tôi rằng họ đã làm việc trong tổ xây dựng phần mềm nhưng khi tôi hỏi thêm các câu hỏi, dường như là họ đã làm việc “trong nhóm” mà KHÔNG “trong tổ”.

Tại sao vào đại học?

Một sinh viên viết: “Nhiều người tốt nghiệp đại học mà không thể tìm được việc làm; vậy tại sao vào đại học? Trường nghề có là chọn lựa tốt hơn không? Xin thầy lời khuyên.”

Cuộc chiến yên tĩnh về công nhân có kỹ năng

Trong hai trăm năm qua, các nước đã cạnh tranh và đánh nhau về các nguồn tài nguyên tự nhiên, nhưng ngày nay họ cạnh tranh và đánh nhau về công nhân có kĩ năng. Một cuộc chiến toàn cầu yên tĩnh về công nhân có kĩ năng đã diễn ra nhưng ít người để ý.

Bài học từ Estonia

Khi Estonia giành lại độc lập vào năm 1991, chỉ một phần ba dân số có điện thoại; chỉ các văn phòng chính phủ hay công ti lớn mới có máy tính cá nhân. Ít người thậm chí biết tới Internet hay nghe nói về Apple hay Microsoft.

Hành vi của sinh viên trong lớp

“Thầy xử lí thế nào khi sinh viên gửi email và nhắn tin điện thoại khi thầy đang giảng bài? Rồi những sinh viên xem YouTube trong lớp? Chúng ta có nên cấm họ đem các thiết bị điện tử vào lớp không? Xin thầy lời khuyên.”

Xu hướng mới: Khoán ngoài phần cứng, khoán trong phần mềm

Người ta dự đoán rằng trong vài năm nữa, phần lớn việc khoán ngoài phần mềm sẽ biến mất.

Trận chiến mới trong tính toán đám mây

Ngày nay “Tính toán mây” là “nóng” vì ngày càng nhiều công ti đang chuyển vào mây.

Tính toán đám mây: Miền mới, kỹ năng mới

Ngày nay nhiều công ti đang chuyển vào trong tính toán mây để giảm chi phí bằng việc tránh chi tiêu vào các cấu phần công nghệ thông tin (CNTT) hay nâng cấp kết cấu nền của riêng họ.

Dịch vụ tính toán đám mây

“Nhiều người nói rằng tính toán đám mây chỉ dành cho công ti lớn ở các nước đã phát triển như Mĩ hay Anh nhưng sẽ không có tác dụng cho công ti nhỏ ở nước đang phát triển. Xin thầy lời khuyên.”

Putin - Logic của quyền lực : Nhân vật lịch sử hay biểu tượng của kiểm soát tuyệt đối?

Trong thời đại mà hình ảnh các nhà lãnh đạo thường bị bóp méo bởi truyền thông, thì "Putin – Logic của quyền lực" như một cánh cửa hiếm hoi hé lộ hậu trường quyền lực thực sự.

Xem "Sex Education", tôi chết lặng vì hành động từng làm với cha: Có những tổn thương mà ta day dứt cả đời

Điện ảnh - Ứng Hà Chi - 10/05/2025 13:00
Đôi khi, ước mơ đẹp nhất không phải là những điều lớn lao, mà chính là hạnh phúc giản dị của những người thân yêu.

Tại sao không nên dùng vân tay để mở khóa điện thoại?

Kỹ năng - KV - 10/05/2025 12:00
Touch ID (khóa vân tay) từng một thời được coi là phương pháp bảo mật lý tưởng, nhưng qua thực tiễn lại bộc lộ những điểm yếu về khả năng bảo mật.

Có phải vì biểu ca, Vương Ngữ Yên rời bỏ Đoàn Dự, câu trả lời đến từ Vân Trung Hạc

Thư giãn - Nguyệt Phạm - 10/05/2025 11:00
Vì sao Đoàn Dự thất bại trong cuộc chinh phục trái tim Vương Ngữ Yên?

8 câu nói để đời của "huyền thoại đầu tư" Warren Buffett

Suy ngẫm - Cẩm Hà - 10/05/2025 10:00
Warren Buffett sẽ rời bỏ vị trí CEO Berkshire Hathaway vào cuối năm 2025. Dù về hậu trường, những câu nói kinh điển của ông vẫn là kim chỉ nam bất hủ cho giới đầu tư toàn cầu.

Phạm Xuân Ẩn, vị tướng tình báo huyền thoại của Việt Nam khiến địch lầm tưởng CIA

Phong cách sống - Thiên Bình - 10/05/2025 09:00
Tài năng và nhân cách của ông khiến giới báo chí quốc tế phải bày tỏ sự kính trọng, cho rằng trong lịch sử tình báo chiến tranh, ít ai thành công như ông.

Putin - Logic của quyền lực : Nhân vật lịch sử hay biểu tượng của kiểm soát tuyệt đối?

Từ sách - Phim - Minh Hằng - 10/05/2025 08:00
Trong thời đại mà hình ảnh các nhà lãnh đạo thường bị bóp méo bởi truyền thông, thì "Putin – Logic của quyền lực" như một cánh cửa hiếm hoi hé lộ hậu trường quyền lực thực sự.

Xem "Sex Education", tôi hối hận vì lỗi với mẹ: Bài học đắt giá từ một câu nói của cô gái nghèo khó

Điện ảnh - Mỹ Hạnh - 09/05/2025 13:00
Bộ phim "Sex Education" đã giúp tôi thoát khỏi những ám ảnh về tuổi thơ. Tôi cũng nhận ra lỗi sai nghiêm trọng của mình đối với mẹ.

'Bố ơi, mình đi đâu thế?' trở lại: Nhiều khoảnh khắc 'đốn tim' khán giả

Truyền hình - Hạ Vĩ - 09/05/2025 12:00
Qua các thử thách “siêu ngầu” như chải tóc ngựa, đánh răng hà mã, các cặp bố con “triệu view” mang đến tiếng cười, nước mắt và bài học ấm áp về tình cha con. Biến hành trình tập sự thành chuyến đi, các ông bố cùng con khám phá thế giới rộng lớn hơn tất cả những gì các bé từng biết.

Cách giành lại quyền làm chủ bộ não khi nghiện ChatGPT và các chatbot AI

Kỹ năng - Sơn Vân - 09/05/2025 11:00
Nhiều thanh thiếu niên đang ở trên ranh giới mong manh giữa nhờ ChatGPT hỗ trợ nhiều thứ và sự lệ thuộc quá mức vào chatbot trí tuệ nhân tạo của OpenAI.

5 châm ngôn của Warren Buffett: Giá trị hơn cả mã cổ phiếu; tiết lộ bí quyết trường thọ

Phong cách sống - Trang Đào - 09/05/2025 10:00
Warren Buffett, 94 tuổi, không nói về các mô hình tài chính phức tạp mà nói với chúng ta bằng những lời thẳng thắn nhất: Đầu tư là một cuộc chạy marathon, đừng để bị phân tâm bởi những tiếng ồn ngắn hạn.

Bộ sách Khai mở cảm xúc và Khai mở hạnh phúc

Tủ sách - FN - 09/05/2025 09:00
Cảm xúc là gì, xuất hiện từ đâu? Chúng hoạt động như thế nào trong não và cơ thể? Có tốt hơn nếu chỉ trải nghiệm những cảm xúc tốt đẹp và rũ bỏ tất cả cảm xúc khó chịu? Và hạnh phúc là gì? Chúng ta có nhất thiết phải liên tục hạnh phúc, mãi mãi hạnh phúc không?

“Cứ tu thôi, đừng đổ thừa”: Phật pháp đời thường qua lời Thầy Thích Pháp Hòa

Từ sách - Phim - Quìn - 09/05/2025 08:00
"Chia sẻ từ trái tim" và "Con đường chuyển hóa" là hai cuốn tuyển tập những bài pháp thoại được nhiều người yêu mến của Thầy Pháp Hòa, được chọn lọc kỹ lưỡng nhằm giữ nguyên giọng văn mộc mạc nhưng thấm đẫm chiều sâu.

Sự cố 60 triệu người mất điện khiến tôi "sáng mắt": Có nhiều tiền mà lâm vào cảnh này cũng vô dụng

Suy ngẫm - Thùy Anh - 08/05/2025 12:00
Việc bị ngắt kết nối đột ngột khiến cuộc sống của nhiều người bị ảnh hưởng, họ nhận ra mình đã phụ thuộc vào công nghệ quá nhiều.

Giáo viên, dân văn phòng đều thích: AI tóm tắt tài liệu của Google “nói” được tiếng Việt

Kỹ năng - Lê Duy - 08/05/2025 11:00
Sau khi triển khai NotebookLM đến hơn 200 quốc gia vào năm ngoái, giờ đây, tính năng Audio Overviews của NotebookLM đã có tiếng Việt.

Tỷ phú Warren Buffett mượn cũi khi con chào đời, mời Bill Gates ăn bằng phiếu giảm giá và khoản đầu tư tệ nhất

Phong cách sống - Sơn Vân - 08/05/2025 10:00
Nhà đầu tư huyền thoại Warren Buffett hiện có giá trị tài sản ròng 169 tỉ USD, theo Bloomberg Billionaires Index (chỉ số tỉ phú Bloomberg) và trở thành người giàu thứ năm thế giới.
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS
Thứ 7, 10/05/2025