Shannon: information theory

Shannon: information theory

A  A satellite in the solar system got pictures of Jupiter and Saturn and the pictures were meant to be sent back to the earth. Unfortunately, the satellite was broken so it took a while for the earth to receive the collected photographs. And eventually, the malfunctioning satellite was off the solar system. All this information transmitting technology should be credited to Claude E. Shannon(1916-2001) and his information theory.

B Shannon was born in Petoskey, Michigan. His father, Claude Sr (1862-1934), a descendant of the early New Jersey settlers, was a self-made businessman and for a while, Judge of Probate. Shannon showed an inclination towards mechanical things. His best subjects were science and mathematics, and at home he constructed such devices as models of planes, a radio-controlled model boat and a wireless telegragh system to a friend’s house half a mile away. While growing up, he worked as a messenger for Western Union. His childhood hero was Thomas Edison, who he later learned was a distant cousin. Both were descendants of John Ogden, a colonial leader and an ancestor of many distinguished people.

C Shannon first began his research in the information field just to distinguish the correctness of a piece of information. The main concepts of information theory can be grasped by considering the most widespread means of human communication: language. Two important aspects of a concise language are as follows: First, the most common words (e.g., “a”, “the”, “I”) should be shorter than less common words (e.g., “roundabout”, “generation”, “mediocre”), so that sentences will not be too long. Such a tradeoff in word length is analogous to data compression and is the essential aspect of source coding. Second, if part of a sentence is unheard or misheard due to noise, e.g., a passing car, the listener should still be able to glean the meaning of the underlying message. Such robustness is as essential for an electronic communication system as it is for a language; properly building such robustness into communications is done by channel coding. Source coding and channel coding are the fundamental concerns of information theory.

D  Note that these concerns have nothing to do with the importance of messages. For example, a platitude such as “Thank you; come again” takes about as long to say or write as the urgent plea, “Call an ambulance!” while the latter may be more important and more meaningful in many contexts. Information theory, however, does not consider message importance or meaning, as these are matters of the quality of data rather than the quantity and readability of data, the latter of which is determined solely by probabilities.

E   Information theory is closely associated with a collection of pure and applied disciplines that have been investigated and reduced to engineering practice under a variety of rubrics throughout the world over the past half century or more: adaptive systems, anticipatory systems, artificial intelligence, complex systems, complexity science, cybernetics, informatics, machine learning, along with systems sciences of many descriptions. Information theory is a broad and deep mathematical theory, with equally broad and deep applications, amongst which is the vital field of coding theory.

F  Coding theory is concerned with finding explicit methods, called codes, of increasing the efficiency and reducing the net error rate of data communication over a noisy channel to near the limit that Shannon proved is the maximum possible for that channel. These codes can be roughly subdivided into data compression (source coding) and error-correction (channel coding) techniques. The rate of transmitting information relies on the amount of noise. In the latter case, it took many years to find the methods Shannon’s work proved were possible. A third class of information theory codes are cryptographic algorithms (both codes and ciphers). Concepts, methods and results from

Lý Thuyết Thông Tin Shannon

A     Một vệ tinh trong hệ mặt trời đã chụp được ảnh của Sao Mộc và Sao Thổ và những bức ảnh đó theo kế hoạch sẽ được gửi về trái đất. Thật không may, vệ tinh đã gặp sự cố nên phải mất một khoảng thời gian sau thì trái đất mới có thể nhận những bức ảnh thu thập được. Và cuối cùng, vệ tinh bị trục trặc đó đã rời khỏi hệ mặt trời. Claude E. Shannon (1916-2001) đã được công nhận nhờ vào công nghệ truyền tải thông tin và lý thuyết thông tin của ông.

B     Shannon được sinh ra ở Petoskey, Michigan. Cha của ông, Claude Sr (1862-1934) là hậu duệ của những người định cư đầu tiên ở New Jersey. Ông là một doanh nhân tự lập và có một khoảng thời gian làm Thẩm phán chứng thực di chúc. Shannon có khuynh hướng thích những thứ thuộc về máy móc. Ông ấy học giỏi nhất là khoa học và toán học. Ở nhà, ông ấy đã chế tạo các thiết bị như mô hình máy bay, thuyền mô hình điều khiển bằng sóng radio và hệ thống điện tín không dây đến nhà một người bạn cách đó nửa dặm. Khi lớn lên, ông làm người đưa tin cho Công đoàn Phương Tây. Người hùng thời thơ ấu của ông là Thomas Edison, người mà sau này ông ấy mới biết là một người anh em họ xa của mình. Cả hai đều là hậu duệ của John Ogden, một thủ lĩnh thuộc địa và là tổ tiên của nhiều người nổi tiếng.

C    Lần đầu tiên Shannon bắt tay vào việc nghiên cứu lĩnh vực thông tin là chỉ để phân biệt tính đúng đắn của một mẫu tin. Các khái niệm chính của lý thuyết thông tin có thể được nắm bắt bằng cách xem xét phương tiện giao tiếp phổ biến nhất của con người: ngôn ngữ. Hai khía cạnh quan trọng của ngôn ngữ súc tích gồm: Thứ nhất, các từ phổ biến nhất (ví dụ: “một”, “một”, “tôi”) phải ngắn hơn các từ ít phổ biến hơn (ví dụ: “bùng binh”, “thế hệ”, “Tầm thường”), do đó các câu sẽ không quá dài. Sự cân bằng về độ dài từ như vậy tương tự như nén dữ liệu và là khía cạnh thiết yếu của mã nguồn. Thứ hai, nếu một phần của câu không được nghe hoặc nghe nhầm do tiếng ồn, ví dụ: một chiếc ô tô chạy qua, người nghe vẫn có thể hiểu được ý nghĩa của thông điệp cơ bản. Tính ưu việt như vậy cũng cần thiết cho một hệ thống giao tiếp điện tử cũng như cho một ngôn ngữ; xây dựng đúng cách sự ưu việt đó vào việc giao tiếp được thực hiện bằng mã hóa kênh truyền. Mã nguồn và mã hóa kênh truyền là mối quan tâm cơ bản của lý thuyết thông tin.

D    Lưu ý rằng những mối quan tâm này không liên quan gì đến tầm quan trọng của thông điệp. Ví dụ, một lời chúc như “Cảm ơn; Hãy đến lần nữa” mất khoảng thời gian để nói hoặc viết như lời khẩn cầu khẩn cấp, “Gọi xe cấp cứu!” trong khi lời khẩn cầu khẩn cấp có thể quan trọng hơn và có ý nghĩa hơn trong nhiều ngữ cảnh. Tuy nhiên, lý thuyết thông tin không xem xét tầm quan trọng hoặc ý nghĩa của thông điệp, vì đây là những vấn đề về chất lượng của dữ liệu hơn là số lượng và khả năng đọc của dữ liệu, yếu tố sau chỉ được xác định bởi xác suất.

E   Lý thuyết thông tin được kết hợp chặt chẽ với một tập hợp các ngành lý thuyết và ứng dụng đã được nghiên cứu và rút gọn thành thực hành kỹ thuật dưới nhiều tiêu chuẩn đánh giá khác nhau trên khắp thế giới trong hơn nửa thế kỷ qua: hệ thống thích ứng, hệ thống dự đoán, trí tuệ nhân tạo, hệ thống phức hợp, khoa học phức hợp, điều khiển học, tin học, học máy, cùng với các khoa học hệ thống của nhiều bảng mô tả. Lý thuyết thông tin là lý thuyết toán học rộng và sâu, với các ứng dụng rộng và sâu như nhau, trong số đó là lĩnh vực quan trọng của lý thuyết mã hóa.

F   Lý thuyết mã hóa liên quan đến việc tìm ra các phương pháp tường minh được gọi là mã lệnh, để tăng hiệu quả và giảm tỷ lệ lỗi thực của việc truyền dữ liệu qua một kênh nhiễu xuống gần giới hạn mà Shannon đã chứng minh là tối đa có thể cho kênh đó. Các mã này có thể được chia nhỏ thành các kỹ thuật nén dữ liệu (mã nguồn) và sửa lỗi (mã hóa kênh truyền). Tốc độ truyền thông tin phụ thuộc vào lượng nhiễu. Trong trường hợp thứ hai, phải mất nhiều năm để tìm ra các phương pháp mà công việc của Shannon đã chứng minh là có thể thực hiện được. Loại mã lý thuyết thông tin thứ ba là