Nie Pan pierwszy otrzyma³ Nagrodê FNP za prace dotycz±ce modelowania matematycznego i badañ operacyjnych. Sk±d takie znaczenie tej dziedziny badañ?
– Modelowanie procesów i zjawisk jest podstawowym dzia³aniem nauki. ¯eby zjawiska badaæ, trzeba to robiæ na jakim¶ modelu.
Dlaczego mamy badaæ model, a nie rzeczywisto¶æ?
– Rzeczywisto¶æ jest zbyt bogata i ró¿norodna. „Kawa³ek” rzeczywisto¶ci, który nas interesuje, trzeba wyci±æ z kontekstu i opisaæ jakim¶ formalnym jêzykiem. Poniewa¿ jest to dzia³anie bardzo podstawowe, mo¿e byæ stosowane w wielu dziedzinach badañ, od socjologii po biologiê molekularn± i fizykê wysokich energii. Od modelu przechodzi siê czêsto do symulacji...
Czym ró¿ni siê symulacja od modelowania, a jak± rolê pe³ni± badania operacyjne?
– Symulacja jest metod± badania procesów, zwykle przebiegaj±cych w czasie, na podstawie obserwacji dzia³ania programów komputerowych symuluj±cych te procesy. Modelowanie natomiast niekoniecznie wi±¿e siê z implementacj± komputerow±. Badania operacyjne koncentruj± siê z kolei na systemach, które sk³adaj± siê z operacji. Komplikacja polega na tym, ¿e operacje s± powi±zane za pomoc± ograniczeñ kolejno¶ciowych i konkuruj± o ograniczone zasoby. Problem decyzyjny polega tu na znalezieniu optymalnego programu wykonania tych operacji przy zadanych ograniczeniach. Charakterystyczne dla badañ operacyjnych jest modelowanie problemów decyzyjnych jako zadañ programowania matematycznego. Powstanie badañ operacyjnych zbieg³o siê zreszt± w czasie z opracowaniem metody rozwi±zania zadania programowania liniowego. Za to odkrycie Leonid Kantorowicz dosta³ Nagrodê Nobla. Z innej strony do rozwi±zywania czêsto tych samych problemów decyzyjnych podchodzi sztuczna inteligencja. Ró¿nica polega na tym, ¿e w badaniach operacyjnych model problemu decyzyjnego jest zwykle zadaniem programowania matematycznego, a w sztucznej inteligencji model jest natury logicznej.
Czy to znaczy, ¿e bez modelu nie mo¿na rozwi±zaæ problemu?
– Tak, a dok³adniej – rozwi±zywanie problemów decyzyjnych odbywa siê w trójk±cie: problem – model – metoda.
Bêd±c informatykiem, rozwi±zuje Pan problemy decyzyjne z odleg³ych dziedzin, miêdzy innymi z medycyny. Czy uczony musi byæ informatykiem, aby wej¶æ na pewien poziom rozwi±zywania problemów, czy te¿ informatyk musi byæ po czê¶ci biologiem, fizykiem czy mechanikiem?
– Bêdzie truizmem, gdy powiem, ¿e interdyscyplinarno¶æ jest nie do unikniêcia. Do jakiego stopnia uczony musi byæ informatykiem? Je¶li do rozwi±zania problemu stosuje znane narzêdzia informatyczne, to lepiej, ¿eby by³ specjalist± w swojej dziedzinie. Wtedy jest to typowe zastosowanie informatyki. Je¶li jednak do rozwi±zania problemu dochodzi siê przez stworzenie nowego paradygmatu przetwarzania informacji, to prym wiod± kompetencje informatyka. Rozwijaj±c metodykê wspomagania decyzji w oparciu o niepe³n± wiedzê, opracowa³em nowe procedury przetwarzania informacji, uwzglêdniaj±ce ich niedoskona³o¶ci i semantykê decyzyjn±. Dopiero pó¼niej zastosowa³em komputer do implementacji tej metodyki.
Musia³ siê Pan uczyæ medycyny czy wystarczy³a wspó³praca z lekarzami?
– Niew±tpliwie wystarczy wspó³praca, je¶li interakcja jest dostatecznie bogata. Najwa¿niejsze jest wspólne doj¶cie do sformu³owania problemu badawczego. Ten problem jest dla informatyka wyciêty z ca³ej rzeczywisto¶ci medycznej. Lekarz przedstawia go w kategoriach zrozumia³ych dla informatyka i w zakresie niezbêdnym do wspó³pracy.
Czy problem musi byæ sformu³owany w sposób uproszczony?
– Tak. Model nie jest rzeczywisto¶ci±, tak jak mapa nie jest terenem. Zawsze pomijamy jakie¶ szczegó³y.
Kto ocenia, które rzeczy s± wa¿ne?
– Lekarz ocenia, co jest wa¿ne, a informatyk, co jest mo¿liwe do wziêcia pod uwagê z informatycznego punktu widzenia. Na przyk³ad interpretacja wyników pomiarów: in¿ynier chcia³by robiæ to z dok³adno¶ci±, na jak± pozwala aparatura, lekarz bêdzie przek³ada³ wyniki pomiarów na okre¶lenia jako¶ciowe, które stosuje w swoim wnioskowaniu, na przyk³ad temperatura normalna, podwy¿szona, wysoka.
W modelu nie mamy wszystkich danych, ale to nie jest równowa¿ne z niepe³n± wiedz±. Bowiem w modelu to my decydujemy, które dane uwzglêdniamy, ¶wiadomie odrzucaj±c pewne informacje. Natomiast Panu chodzi, jak rozumiem, o fakt, ¿e trudno jest osi±gn±æ pe³n± wiedzê na temat zjawisk, wydarzeñ, a decyzjê zwi±zan± z nimi jednak musimy podj±æ.
– Dok³adnie tak. Chodzi o niepe³n± wiedzê. Dane to wszystko, co mo¿emy komputerowi „powrzucaæ”, a wiedza to wyinterpretowane zwi±zki, które w tych danych istniej±.
Czy mo¿emy powiedzieæ, ¿e to jest rozumienie danych?
– To jest krok do rozumienia danych. Trzeba te zwi±zki pokazaæ komu¶, kto je zrozumie lub nie. To jest wiedza komputerowa, która dopiero pretenduje do zrozumienia.
Mówi±c krótko, komputer nie zast±pi cz³owieka ani sztuczna inteligencja nie zast±pi naturalnej?
– Nie. Dziêki sztucznej inteligencji, maszyna mo¿e wyindukowaæ z danych regu³y decyzyjne, jednak, na przyk³ad w przypadku medycyny, dopiero po zrozumieniu i akceptacji tych regu³ przez lekarza regu³y te mog± pretendowaæ do miana wiedzy i prowadziæ do interesuj±cego, potwierdzaj±cego intuicjê odkrycia.
Pamiêtamy ksi±¿ki popularnonaukowe sprzed trzydziestu lat, stawiaj±ce tezê, ¿e sztuczna inteligencja zast±pi naturaln±.
– To bardzo spektakularne, na przyk³ad ksi±¿ka Èapka o buncie robotów. Wyobra¼nia mo¿e sobie pozwoliæ na tak± projekcjê, ale fakty s± inne. Na gruncie matematyczno-logicznym Kurt Gödel udowodni³, ¿e z okre¶lonego uk³adu aksjomatów, czyli z tego, od czego zawsze zaczyna maszyna, nie mo¿na udowodniæ ka¿dego prawdziwego twierdzenia arytmetyki. Matematyk ma zdolno¶æ zmiany aksjomatów i dostosowania ich do twierdzenia, które ma udowodniæ, a maszyna sama tego nie zrobi. Dlatego nie wierzê w wizjê my¶l±cych maszyn. Jednak niew±tpliwie maszyny w coraz wiêkszym stopniu bêd± wyrêcza³y cz³owieka w wykonywaniu pewnych intelektualnych czynno¶ci, bo s± sprawniejsze obliczeniowo, bardziej pojemne pamiêciowo, nie mêcz± siê, nie maj± z³ych dni itd. W zwi±zku z tym potrafi± wykonywaæ prace, które przerastaj± cz³owieka swoim ogromem i uci±¿liwo¶ci±.
W jaki sposób Pana badania pozwoli³y wspomóc czy zast±piæ pracê lekarzy w Kanadzie?
– System, który opracowali¶my, pozwala wspomagaæ, ale nie zast±pi pracy lekarza. W szpitalu w Ottawie, z którym wspó³pracujemy, w izbie przyjêæ nie dy¿uruje specjalista chirurg, lecz sta¿y¶ci, interni¶ci, a nawet wykwalifikowane pielêgniarki. Chirurg jest pod telefonem. Tymczasem trzeba oceniæ, czy konkretnemu ma³emu pacjentowi chirurg jest potrzebny. To nie jest takie proste. Trafno¶æ decyzji, czy przywo³aæ chirurga, czy skierowaæ na obserwacjê, czy te¿ odes³aæ do domu, jest rzêdu sze¶ædziesiêciu procent. Czyli czêsto siê zdarza, ¿e do domu odsy³a siê kogo¶ bardzo chorego, a chirurga wzywa siê do banalnego zatrucia pokarmowego.
Taka dok³adno¶æ jest czy by³a?
– By³a. Chodzi³o w³a¶nie o to, aby trafno¶æ decyzji podejmowanych przez niespecjalistów poprawiæ. Zaistnia³o pytanie, czy mo¿na stworzyæ narzêdzie, które analizowa³oby postêpowanie dobrego specjalisty i na tej podstawie potrafi³o wyci±gn±æ istotne wnioski, które mo¿na by w³o¿yæ do komputera i wywo³ywaæ w razie potrzeby. Lekarze specjali¶ci dostarczyli nam sze¶æset ró¿nych przypadków diagnozowania bólów brzucha u dzieci. Stosuj±c nowatorsk± metodykê, odkryli¶my istotne zwi±zki miêdzy obrazem chorego a zaklasyfikowaniem go do jednej z trzech decyzji. Odkryli¶my te¿, które z badañ s± istotne dla podjêcia w³a¶ciwej decyzji oraz wygenerowali¶my regu³y decyzyjne, które mo¿na by³o zaprogramowaæ w ma³ych narêcznych komputerach – palmtopach. To znacznie podwy¿szy³o trafno¶æ rozpoznania. Przeprowadzili¶my pó³roczny test, który pozwoli³ oceniæ praktyczn± przydatno¶æ systemu. W tym czasie rozpoznano nastêpnych czterysta przypadków. Okaza³o siê, ¿e decyzje podpowiadane przez system s± o kilkana¶cie procent trafniejsze od decyzji podejmowanych przez lekarzy niespecjalistów.
Jak dosz³o do wspó³pracy polskiego informatyka z kanadyjskimi lekarzami?
– To pokazuje, jak bardzo potrzebne s± miêdzynarodowe konferencje. Prezentowa³em metodykê wspomagania decyzji na podstawie niepe³nej wiedzy na ró¿nych konferencjach. Na jednej z nich spotka³em profesora Wojtka Micha³owskiego, który pracuje w Uniwersytecie w Ottawie. Jest on dyrektorem podyplomowego studium zarz±dzania w s³u¿bie zdrowia. Mia³ dziêki temu kontakt z lekarzami z pediatrycznego szpitala akademickiego, którzy przedstawili mu sytuacjê opisan± wcze¶niej.
Czy teraz ten system bêdzie móg³ zostaæ zastosowany powszechnie?
– Nie od razu, bo ten system jest skrojony na tamte warunki. Przeniesienie go w inne warunki, na przyk³ad do Polski, dla lekarzy rodzinnych, wymaga³oby adaptacji. Jego sukces pozwala nam jednak propagowaæ to rozwi±zanie.
Gdy mówi Pan „opracowali¶my”, ma Pan na my¶li...
– Oprócz profesora Micha³owskiego i lekarzy z Ottawy, tak¿e mój zespó³ z politechniki, a zw³aszcza doktora Szymona Wilka, który jest ³±cznikiem naszych zespo³ów.
Czy ta metodyka ma tak¿e inne zastosowania ni¿ medyczne? Z niepe³n± wiedz± spotykamy siê na ka¿dym kroku.
– Obszarów zastosowañ by³o bardzo du¿o, choæ niewiele koñczy³o siê takim wdro¿eniem, o jakim mówili¶my. Wiêkszo¶æ zastosowañ mia³a jedynie na celu sprawdzenie, czy metodyka ta nadaje siê do danej dziedziny. Na ciekawy problem natrafili¶my w Miêdzynarodowym Instytucie Stosowanej Analizy Systemowej (IIASA) w Austrii, w którym bada siê problemy globalne, jak na przyk³ad zmiany klimatyczne czy stan biosfery. Badany by³ te¿ problem oceny zdrowotno¶ci lasów syberyjskich na podstawie zdjêæ satelitarnych. To s± du¿e zbiory danych, które by³y analizowane wcze¶niej tradycyjnymi metodami statystycznymi. Odbiorcy tych analiz nie byli zadowoleni. Spróbowali¶my naszej metody.
Czy ona nie ma zwi±zku ze statystyk±?
– Nie jest to metoda statystyczna. Nie wychodzimy od za³o¿eñ statystycznych, na przyk³ad za³o¿enia o normalno¶ci rozk³adów warto¶ci cech czy zrównowa¿eniu klas. Dopuszczamy atrybuty o zmiennych nominalnych i nie traktujemy niespójno¶ci danych jak szumu. Do interpretacji wyników mo¿emy natomiast stosowaæ ró¿ne miary probabilistyczne. Okaza³o siê, ¿e zwi±zki, które odkrywamy w postaci regu³ decyzyjnych, s± o wiele ciekawsze dla odbiorców. Na tej podstawie utworzono mapy, na których pokazano obszary zdrowe, pora¿one i zupe³nie zdegradowane. By³ to zatem tak¿e problem klasyfikacji. Proszê zauwa¿yæ, ¿e problem klasyfikacji jest podstawowym problemem kognitywistycznym. Niektórzy, jak Bertrand Russell, mówi± nawet, ¿e ca³a wiedza jest klasyfikacj±...
Nawi±zujemy wci±¿ do filozofii, a przynajmniej do filozofii nauki...
– Musimy mieæ jakie¶ motywacje, a niew±tpliwie filozofowie nauki nam ich dostarczaj±. Wracaj±c do Russella, wiedza wszystkich ¿yj±cych to umiejêtno¶æ klasyfikowania, czyli dopasowywania wzorca sytuacji do zachowañ. Nawet zwierzê, gdy odbierze pewne bod¼ce, po ich zinterpretowaniu stosuje wzór zachowania, odpowiedni± taktykê. Klasyfikacja jest podstawowym problemem kognitywistycznym zwi±zanym z podejmowaniem decyzji.
Co ma Pan na my¶li, mówi±c: „kognitywistyczny”?
– Poznawczy. Najpierw jest rozpoznanie, a potem zachowanie, które jest spójne z tym rozpoznaniem. Je¿eli mówimy o klasyfikacji, to znaczy, ¿e jest to przydzia³ elementów do zbioru. Dochodzimy do pierwocin, czyli teorii zbiorów. W³a¶nie ta metodyka, o której mówimy, opiera siê na nowej teorii zbiorów, któr± zaproponowa³ profesor Zdzis³aw Pawlak z Warszawy, nestor polskiej informatyki.
O jakich czasach i teorii mówimy w tej chwili?
– Profesor Pawlak zaproponowa³ teoriê zbiorów przybli¿onych w 1982 roku. Jest ona alternatyw± dla klasycznej teorii zbiorów Georga Kantora, u którego zbiory definiuj± siê przez to¿samo¶æ swoich elementów. Natomiast profesor Pawlak zaproponowa³, by zbiory definiowa³y siê przez w³asno¶ci elementów opisane w sposób niezale¿ny. Elementy maj±ce takie same w³asno¶ci s± nierozró¿nialne i tworz± granule wiedzy. Te granule staj± siê cegie³kami, z których buduje siê reprezentacjê zbioru. Je¶li granule pasuj± dok³adnie do tego zbioru, to reprezentacja jest dok³adna. W ogólno¶ci jednak bêdzie ró¿nica miêdzy zbiorem elementów utworzonym z granul, które wchodz± w ca³o¶ci do wnêtrza zbioru, a zbiorem elementów utworzonym z granul, które maj± tylko niepusty przekrój z reprezentowanym zbiorem. St±d, w ogólno¶ci, zbiór jest reprezentowany przez parê zbiorów zwanych dolnym i górnym przybli¿eniem. Ró¿nica miêdzy dolnym a górnym przybli¿eniem pokazuje zakres niespójno¶ci, czyli sprzeczno¶ci wystêpuj±cych w danych. Okazuje siê, ¿e taki prosty pomys³ ma ogromne znaczenie dla analizy danych i analizy klasyfikacji.
I Pan w tym niespójnym, sprzecznym ¶wiecie musi stworzyæ narzêdzie do podejmowania decyzji?
– Trzeba w tym ¶wiecie rozró¿niæ to, co jest prawdziwe i pewne, od tego, co jest tylko mo¿liwe. To s± pojêcia zbiorów przybli¿onych: dolne oraz górne przybli¿enie. Dziêki teorii profesora Pawlaka mo¿emy indukowaæ z tych danych regu³y pewne i tylko mo¿liwe.
Mówi Pan ca³y czas o indukcji. Czy nie mo¿na mówiæ po prostu o wnioskowaniu?
– Wnioskowanie mo¿e byæ indukcyjne i dedukcyjne. Tu mamy do czynienia z indukcj±, gdy¿ prawdy, które wnioskujemy z danych, s± jedynie domy¶lne. To nie s± prawdy obiektywne, gdy¿, jak mówi Karl Popper, mo¿na je sfalsyfikowaæ przez kontrprzyk³ad.
Aby budowaæ takie narzêdzia do wspomagania decyzji, trzeba mieæ szerokie spojrzenie na zagadnienia logiczne, informatyczne, jêzykowe.
– Trzeba wiedzieæ, czego siê szuka w odkrywaniu wiedzy, we wspomaganiu decyzji, w modelowaniu, na co mo¿na sobie pozwoliæ, jaki jest stan informacji. Poszed³em ze swoimi doktorantami o krok dalej w teorii zbiorów przybli¿onych. Za³o¿y³em, ¿e w danych istnieje te¿ pewna semantyczna monotoniczno¶æ...
Brzmi strasznie.
– Mo¿e trzeba powiedzieæ inaczej: istnieje pewna monotoniczno¶æ, która ma ¶ci¶le okre¶lon± semantykê decyzyjn±. Mo¿na j± wyja¶niæ tak: we¼my pod uwagê uczniów, którzy s± klasyfikowani przez radê pedagogiczn±. Maj± ró¿ne oceny z matematyki, fizyki itd., oraz ocenê ogóln±. Prawd± jest, ¿e gdyby uczeñ otrzyma³ z jakiego¶ przedmiotu ocenê lepsz± ni¿ ma obecnie, to nie powinien otrzymaæ ogólnej oceny gorszej. Gdyby tak siê sta³o, to powiedzieliby¶my, ¿e to jest niespójno¶æ. Liczymy siê zatem z monotoniczno¶ci± typu: im wiêcej na warunkach, tym wiêcej na decyzjach, czy – im lepiej na warunkach, tym lepiej na decyzjach. W medycynie im wiêksze zwapnienie guza, tym wiêksza jego z³o¶liwo¶æ. Dot±d nie uwzglêdniano tej monotoniczno¶ci jako wiedzy apriorycznej ani w metodach statystycznych, ani w teorii zbiorów przybli¿onych. A jest to konieczne, bo ignoruj±c j±, nara¿amy siê na wyci±ganie b³êdnych regu³. Oczywi¶cie, istniej± problemy klasyfikacji, w których taka monotoniczno¶æ nie ma miejsca, na przyk³ad w taksonomii ro¶lin. W wiêkszo¶ci problemów decyzyjnych zwi±zanych z klasyfikacj±, wyborem czy rangowaniem, taka zale¿no¶æ monotoniczna musi byæ jednak brana pod uwagê. Typowymi przyk³adami s± problemy oceny ryzyka kredytowego, analizy satysfakcji konsumentów czy wielokryterialnej oceny decyzji.
W jakim stopniu wnioski wyci±gane z danych s± ryzykowne?
– To w du¿ej mierze zale¿y od reprezentatywno¶ci danych. Gdy przeje¿d¿amy przez jakie¶ nieznane miasto poci±giem i widzimy brudny, obskurny dworzec kolejowy, mamy wra¿enie, ¿e ca³e miasto jest w³a¶nie takie. Tworzymy pewne uogólnienie, które jest prawdziwe w ¶wiecie naszych obserwacji, a nie w ogóle.
Interesuj±ce jest w tym kontek¶cie pytanie, czy nauka odkrywa prawdê?
– Cz³owiek, odkrywaj±c prawdê przez ma³e „p”, poznaje ¶wiat, a w nim siebie jako istotê jedyn± w swoim rodzaju. Tym samym zbli¿a siê do prawdy przez du¿e „P”. Nauka to odkrywanie tej prawdy cz±stkowej przez ma³e „p”.
Czy szukanie przyczyn ma sens w nauce wspó³czesnej?
– Spójrzmy na prace astronomów, którzy siêgaj± w coraz dalsze krañce wszech¶wiata, aby zrozumieæ jego pocz±tki. Szukanie przyczyn ma sens. Tak¿e lekarz czy finansista chc± znaæ przyczyny zjawisk, z którymi maj± do czynienia.
Moje pytanie wi±¿e siê z pozytywizmem, który stara³ siê zanegowaæ sens poszukiwania przyczyn.
– Przyczyna w tym ma³ym sensie oraz w tym wielkim zawsze jest naturaln± potrzeb±, pytaniem cz³owieka.
Powiedzia³ Pan, ¿e filozofia nauki motywuje. Czy to jest powód, ¿eby w politechnikach wyk³adaæ filozofiê? Mam wra¿enie, ¿e mówienie o humanizacji studiów in¿ynierskich pozostaje w sferze pomys³u, a mo¿e nawet fikcji.
– Obecno¶æ przedmiotu humanistycznego nie jest mile widziana na studiach in¿ynierskich. ¬le kojarzy siê z programem z przesz³o¶ci, gdy by³a tam filozofia marksistowska i ekonomia polityczna. Nie bez przyczyny jednak w¶ród rygorozów doktorskich w politechnice jest egzamin z filozofii. Na poziomie doktoranckim to jest potrzebne. Wskazówki, które daj± nam filozofowie, s± dla nas bardzo przydatne. Gdy czytamy co¶, co zaczyna rezonowaæ z nasz± intuicj±, czujemy motywacjê, podporê dla w³asnych pomys³ów. Czu³em to na przyk³ad, gdy proponowa³em nowe modelowanie preferencji, które jest oparte na zwi±zkach logicznych. Gdy zacz±³em siê tym zajmowaæ, natrafi³em na wypowied¼ Gastona Bachelarda, my¶liciela francuskiego, ¿e je¶li w jako¶ci pojawia siê porz±dek, to po có¿ dla jego wyja¶nienia mieliby¶my poszukiwaæ po¶rednictwa liczb. W tym momencie stanê³a mi przed oczami alternatywa: czy do modelowania preferencji stosowaæ teoriê u¿yteczno¶ci, która jako¶æ przelicza na liczby, czy mo¿e braæ pod uwagê tylko porz±dki w ocenie jako¶ci? My¶l Bachelarda przekona³a mnie do tego drugiego podej¶cia, tym bardziej ¿e porz±dek to informacja, która przychodzi o wiele ³atwiej ni¿ przeliczenie jako¶ci na warto¶æ, na przyk³ad pieniê¿n±. Po co dla wyja¶nienia wspomnianych ju¿ monotonicznych zwi±zków miêdzy porz±dkami przeliczaæ wszystko na liczby? Wtedy przecie¿ zak³ócamy te zwi±zki i tracimy z oczu ¶lad tego, co wa¿ne.
Wszyscy mówi± o obiektywizmie liczb.
– Liczba jest niebezpieczna, bo jest pozornie obiektywna. Patrzmy, co siê dzieje w systemach punktowych przy rekrutacji. ¯eby przeliczyæ wiedzê na punkty, przyjmuje siê masê arbitralnych za³o¿eñ, nadaje siê wagi ró¿nym przedmiotom, tak jakby mo¿na by³o powiedzieæ, ile dodatkowej wiedzy z matematyki kompensuje ubytek wiedzy z polskiego. Je¶li idziemy na uproszczenia, to róbmy to sensownie, by wprowadza³y jak najmniej arbitralno¶ci. Ca³y wysi³ek w nauce, w modelowaniu, od którego zaczêli¶my rozmowê, idzie w os³abianie za³o¿eñ. Chodzi o to, aby przyjmowaæ jak najmniej za³o¿eñ upraszczaj±cych i aby te za³o¿enia by³y jak najs³absze.
Co dla uczonego jest bardziej satysfakcjonuj±ce, odkrycie czy jego zastosowanie?
– Poniewa¿ jestem in¿ynierem, d±¿ê do tego, aby to, co odkrywam by³o u¿yteczne. W szczególno¶ci metody wspomagania decyzji musz± byæ weryfikowane w praktyce. Pierwsza satysfakcja pojawia siê ju¿ wtedy, gdy stworzymy spójn± i eleganck± teoriê, ale spe³nienie daje dopiero zastosowanie jej w praktyce.