Entropy thông tin

Tiêu đề: Entropy thông tin 27/3/2010, 16:45

Entropy thông tin là một khái niệm mở rộng của entropy trong nhiệt động lực học và cơ học thống kê sang cho lý thuyết thông tin.

Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu.

Ví dụ, nhìn vào một dòng chữ tiếng Việt, được mã hóa bởi các chữ cái, khoảng cách, và dấu câu, tổng quát là các ký tự. Dòng chữ có ý nghĩa sẽ không hiện ra một cách hoàn toàn hỗn loạn ngẫu nhiên; ví dụ như tần số xuất hiện của chữ cái x sẽ không giống với tần số xuất hiện của chữ cái phổ biến hơn là t. Đồng thời, nếu dòng chữ vẫn đang được viết hay đang được truyền tải, khó có thể đoán trước được ký tự tiếp theo sẽ là gì, do đó nó có mức độ ngẫu nhiên nhất định. Entropy thông tin là một thang đo mức độ ngẫu nhiên này.

Khái niệm này lần đầu giới thiệu bởi Claude E. Shannon trong bài báo "A Mathematical Theory of Communication", năm 1948. Trước đó von Neumann đã dùng đến công thức có entropy vào năm 1927.

Claude E. Shannon đã xây dựng định nghĩa về entropy để thoả mãn các giả định sau:

Entropy phải tỷ lệ thuận liên tục với các xác suất xuất hiện của các phần tử ngẫu nhiên trong tín hiệu. Thay đổi nhỏ trong xác suất phải dẫn đến thay đổi nhỏ trong entropy.
Nếu các phần tử ngẫu nhiên đều có xác suất xuất hiện bằng nhau, việc tăng số lượng phần tử ngẫu nhiên phải làm tăng entropy.
Có thể tạo các chuỗi tín hiệu theo nhiều bước, và entropy tổng cộng phải bằng tổng có trọng số của entropy của từng bước.
Shannon cũng chỉ ra rằng bất cứ định nghĩa nào của entropy, cho một tín hiệu có thể nhận các giá trị rời rạc

Khái niệm độ phức tạp gắn với khái niệm thông tin.

Ban đầu khái niệm thông tin do Shanon đưa ra năm 1948 dựa trên cơ sở xác suất thống kê, khái niệm thông tin tuyệt đối do Kolmogorov đưa ra năm 1973 dựa trên cơ sở thuật toán. Thông tin được hiểu như một đại lượng căn bản định nghĩa một cách nghiêm ngặt có thể đo lường được của sự vật giống như năng lượng. Thông tin tuyệt đối chứa trong một đối tượng hữu hạn chính là độ phức tạp Kolmogorov (Kolmogorov complexity) của đối tượng đó. Độ phức tạp của một đối tượng hữu hạn x là độ dài ngắn nhất của mô tả hữu hiệu của x, hay độ dài ngắn nhất của chương trình (và số liệu ban đầu), tính bằng x chẳng hạn, sinh ra x. Cho trước x và nếu tìm ra mô hình hay chương trình mô tả x có độ dài bằng độ phức tạp Kolmogorov của x thì đó chính là mô tả ngắn nhất không thể gọn hơn. Ta có sự nén dữ liệu hoàn hảo nhất, nén quá mức đó là không thể. Cái mà không còn có thể nén được nữa là cái hoàn toàn ngẫu nhiên. Như vậy tính ngẫu nhiên của sự vật cũng có thể định nghĩa nghiêm ngặt (thoả mãn các phép thử Martin-LÁ¶f). Thông tin, tính ngẫu nhiên, nén dữ liệu là những khái niệm quá quen thuộc với chúng ta.

Cái làm cho một hệ thống xuất hiện tính trồi (không thể suy ra từ tính chất của các thành phần) với những mẫu hình mới (pattern), các tính chất mới, tạo nên sự tổ chức, sự đa dạng, phức tạp và sự sống là do kết hợp mang tính phi tuyến của các hệ thống con thành phần.

Khái niệm và thuật ngữ thông tin được dùng trong giao tiếp giữa các hệ thống máy tự động, sinh vật, môi trường... Thông tin có được qua tương tác vật chất lý-hoá qua vỏ vật chất của vật mang tin.

Khái niệm lượng thông tin được Shannon (nhà toán học, vật lý) đưa ra năm 1948 thông qua khái niệm trung gian là “độ bất định” trong dự đoán khả năng xảy ra trước khi nhận được thông tin. Sau khi nhận được thông tin, nếu độ bất định đó giảm đi thì có thể coi lượng thông tin nhận được là bằng mức độ giảm đi của độ bất định. Nếu dự đoán càng nhiều tình huống có thể xảy ra thì độ bất định trong dự báo càng lớn. Nếu N là số lượng tình huống có thể xảy ra thì độ bất định là logNN. Đơn vị đo độ bất định là N=2; gọi là bit.

Năm 1948, Shannon đưa ra công thức tính độ bất định có tính khái quát hơn. Trong N tình huống dự đoán có thể xảy ra, không nhất thiết tất cả N tình huống đó đều có khả năng xảy ra như nhau. Do vậy có tính tới các xác suất khác nhau của dự báo.

Công thức đo lượng thông tin hay độ bất định trước khi nhận được thông tin của Shannon trùng hoàn toàn với công thức đo entropi trong nhiệt động học do nhà toán học Boltzmann người Áo đưa ra.
Theo nguyên lý thứ 2 nhiệt động học thì hệ đóng kín, không có trao đổi năng lượng bên ngoài tất yếu sẽ chuyển động đến trạng thái cân bằng tới khi các bộ phận cấu thành của hệ thống đó giống nhau, đồng nhất và mất đi cấu trúc hay là tan vỡ trật tự và trở nên hỗn độn. Entropi là đại lượng đo trạng thái mất cấu trúc, mất trật tự của hệ thống gọi là entropi.

Như vậy có thể hiểu entropi chính là độ đo sự bất định trong cấu trúc của hệ thống, và sự bất định trong cấu trúc đó càng nhiều thì sự bất định trong tình huống có thể xảy ra như trong định nghĩa của Shanon.Vì thế người ta đã đưa ra khái niệm Thông tin cấu trúc là để chỉ lượng thông tin chứa trong 1 hệ thống bất kỳ: entropi của hệ thống đó càng lớn thì độ bất định của nó cũng càng lớn và như vậy lượng thông tin cấu trúc mà hệ thống đó chứa đựng sẽ càng lớn và ngược lại. Để dễ phân biệt gọi lượng thông tin theo Shannon là Thông tin tương đối vì lượng thông tin này là sự bất định tương đối của nơi nhận khi dự báo về khả năng của nơi gửi. Lượng thông tin cấu trúc có thể đo bằng nghịch đảo của entropi.

Tính biến đổi một chiều của entropi
Bất kỳ một hệ thống vật chất nào, nếu không tiếp thu được năng lượng từ môi trường thì chiều biến đổi của nó là tăng liên tục entropi (tức là thông tin cấu trúc giảm dần) cho đến khi trình độ tổ chức, cấu trúc tổ chức của nó suy giảm và tiến tới mất cấu trúc và thành một thứ đồng nhất (homogene) và vô định hình (amorphe), không còn hoặc có rất ít biến đổi, vận động. (có thể tăng không đồng nhất ở tất cả mọi bộ phận con).

Một cơ thể sống là hệ thống vật chất có khả năng tự lấy năng lượng từ bên ngoài để chống lại xu thế tăng entropi của bản thân. Năng lượng lấy thêm vào được các nhà khoa học gọi là negentropi.

Nếu giảm entropi thì tăng cấu trúc tăng sự vận động tức là phát triển đi lên, là tiến bộ trong biến đổi.

Tiêu đề: Re: Entropy thông tin 27/3/2010, 18:04

Sau một hồi đọc,nhận ra là ko hiểu j hết

Tiêu đề: Re: Entropy thông tin 28/3/2010, 19:41

Bài viết này khá hay!!!Nói chung Đ chỉ cần biết entropy là đại lượng đo mức độ ngẫu nhiên của một đối tương mang tính trực quan và có khả năng lặp lại. pig

**Sponsored content**