פרק שלישי: גידולו של ג'ו לאור עקרונות תועלתניים

38 פרק שלישי עיקרי דבריו ) , אינה משייכת לעצמה או לקיומה כל ערך של שְׁלוֹמוּת ( well being – מצב של רווחה גופנית, נפשית וחברתית ) . בשל כך הרובוט / המכונה לא יילחם בכל מחיר על חייו ולא ינסה בכל מחיר למנוע את כיבויו במצבי חירום . המודל הסטנדרטי ( Standard Model ) של הבינה המלאכותית הוא המודל המקובל עד לאחרונה בבניית מכונות בעלות בינה, 3 והוא מושתת על בניית מכשירים אופטימליים המוזנים במטרות ושליחתם לביצוע משימות . מודל זה עובד היטב כאשר הדברים אמורים בבינה מלאכותית מוגבלת בהיקף פעולותיה, כזו שאם הוזנה במטרה לא נכונה עדיין יש סיכוי טוב לכבותה . המודל יהיה מסוכן יותר ככל שפעילותן של מכונות הבינה המלאכותית תתרחב וכאשר היקפן ועצמאותן יעלו לאין שיעור על פעילותה של הבינה המלאכותית היום . למעשה תהליך כזה מתחיל להתרחש כבר בימינו . בשלב מסוים גישת המודל הסטנדרטי תייצר יותר ויותר בעיות של שליטה במכונות . מכונות הבינה המלאכותית שיתבססו על המודל הקיים היום יתעקשו על ביצוע המטרות המוגדרות להן בכל מחיר, גם אם מטרות אלה שגויות או מנוגדות לאינטרס האנושי . הן גם יתנגדו לכל ניסיון כיבוי ויגייסו כל משאב אפ...  To the book