AI аюулгүй байдлын шинжээчийн анхааруулга: 2030 он гэхэд үлдэх ажил мэргэжлүүд,... мөн бид симуляцид амьдарч байж магадгүй юу?

Хиймэл оюун ухааны тухай ихэнх яриа өөдрөг өнгөтэй байдаг. Илүү бүтээмжтэй болно, өвчнийг оношилно, шинжлэх ухааныг хурдасгана, уйтгартай ажлыг автоматжуулна гэдэг. Гэхдээ энэ зургийн нөгөө тал бий. Тэр тал нь илүү бараан, илүү төвөгтэй, бас илүү яаралтай.

Компьютерийн ухааны профессор, “AI safety” гэдэг нэр томьёог гаргаж ирсэн Роман Ямпольский (Roman Yampolskiy) олон жил нэг л асуудал дээр төвлөрч иржээ. Бид улам ухаалаг AI хийж сурсан. Харин түүнийг хүмүүнд аюулгүй байлгаж сураагүй. Түүний хэлдгээр, энэ бол зүгээр нэг техникийн асуудал биш. Хүн төрөлхтөн өөрөөсөө ухаантай агент бүтээж байгаа атлаа түүнийг хэрхэн хянах, хэрхэн тайлбарлах, хэрхэн өөрийн зорилгод нийцүүлэхээ мэдэхгүй байгаа тухай асуудал.

Түүний байр суурь бол тун шулуухан. Narrow AI буюу тодорхой нэг даалгаварт мэргэшсэн системүүд бол ашигтай. Харин ерөнхий хиймэл оюун ухаан, цаашлаад супер интеллект рүү хурдалж байгаа өнөөгийн уралдаан бол эрсдэлтэй туршилт. Зөвхөн тухайн компаний хөрөнгө оруулагчид биш, дэлхийн 8 тэрбум хүний амь, амьдрал дээр тавигдаж буй туршилт.

Агуулга

Роман Ямпольскийн үндсэн анхааруулга: бид чадвар бүтээж байна, аюулгүй байдал биш

Түүний гол санаа маш энгийн хэр нь түгшүүртэй. Сүүлийн арван жилд AI-ийг илүү чадвартай болгох арга нь нэлээд ойлгомжтой болсон. Илүү их тооцоолол, илүү их өгөгдөл, илүү том загвар. Ингээд систем улам “ухаалаг” болдог.

Харин энд л асуудал эхэлнэ.

Бид тэднийг илүү чадвартай болгож чаддаг ч, тэднийг аюулгүй байлгах аргагүй байна. Тэд яг юу хийхийг урьдчилан таамаглахад хэцүү. Яагаад ийм шийдвэр гаргасныг тайлбарлахад хэцүү. Хүний үнэт зүйл, сонирхол, аюулгүй байдлын хязгаарт үнэхээр нийцүүлж чадна гэдгийг батлах бүр ч хэцүү.

Ямпольскийнхээр, өнөөгийн “аюулгүй байдал” бол үндсэндээ нөхөөс. Системээс таагүй зан төлөв илэрмэгц дээрээс нь хориг, шүүлтүүр, дүрэм нэмдэг. Өөрөөр хэлбэл “энэ үгийг битгий хэл”, “ингэж битгий хариул”, “энэ төрлийн агуулга үүсгэж болохгүй” гэх маягийн давхар хамгаалалт.

Гэхдээ энэ нь асуудлыг шийддэггүй. Зүгээр л түр зуур далдалдаг. Ухаантай систем, эсвэл ухаантай хэрэглэгч, эсвэл муу санаатай этгээд эрт орой хэзээ нэгэн цагт тойрч гарна.

Тэр үүнийг хүний байгууллагын дүрэмтэй зүйрлэдэг. Компанид HR гарын авлага байдаг. Бэлгийн дарамт хориотой, тийм зүйл хийж болохгүй, ийм ааш гаргаж болохгүй гэж заана. Гэхдээ хангалттай ухаантай хүн бол дүрмийг шууд зөрчихгүйгээр өөр сувгаар хүссэнээ хийж сурдаг. AI дээр ч яг адил.

Яагаад тэр AI аюулгүй байдлыг “шийдэж болохгүй” асуудал гэж үздэг вэ

Ямпольский 15 гаруй жилийн өмнө энэ асуудал дээр ажиллаж эхлэхдээ өөдрөг байсан гэж хэлдэг. Аюулгүй AI бүтээж болно гэж итгэж байж. Гэвч улам гүнзгий орох тусам асуудал нь фрактал шиг болсныг харжээ.

Нэг асуудлыг задлахаар ард нь дахиад арван асуудал гарч ирнэ. Тэр аравыг задлахаар дахиад зуу гарч ирнэ. Хамгийн түгшүүртэй нь эдгээр нь зүгээр хэцүү асуудлууд биш, зарим нь зарчмын хувьд шийдэгдэхгүй асуудал байж магадгүй гэж тэр үздэг.

Түүний дүгнэлт бол энэ:

AI-ийн чадвар маш хурдтай өсөж байна
AI аюулгүй байдлын ахиц харьцангуй удаан байна
Тиймээс чадвар ба хяналтын зөрүү улам томорч байна

Эндээс л “энэ системийг бид удирдана” гэдэг итгэл эвдэрч эхэлдэг.

AI, AGI, супер интеллект гэж яг юуг хэлээд байна вэ

Энэ ярианд хэд хэдэн нэр томьёо байнга холилддог тул эхлээд ялгаж ойлгох нь зүйтэй.

Narrow AI

Нэг төрлийн ажилд мэргэшсэн системүүд. Шатар тоглох, уураг нугаралтыг таамаглах, дүрс таних, зам төлөвлөх гэх мэт. Эдгээрийн зарим нь аль хэдийн тухайн нарийн хүрээндээ хүнийг давсан.

AGI буюу Artificial General Intelligence

Олон өөр домэйнд суралцаж, дасан зохицож, өргөн хүрээний даалгавар гүйцэтгэх чадвартай ерөнхий оюун. Ямпольскийн үзэж байгаагаар өнөөдрийн системүүдийг 20 жилийн өмнөх эрдэмтэнд үзүүлсэн бол тэд “бид AGI-д хүрчихсэн байна” гэж хэлэх байсан. Өөрөөр хэлбэл сул хэлбэрийн AGI-ийн шинж өнөөдөр аль хэдийн харагдаж байгаа.

Супер интеллект

Бүх хүнийг бүх домэйнд давсан оюун. Зөвхөн нэг салбарт биш. Шинжлэх ухаан, инженерчлэл, математикийн нээлт, стратеги, нийгмийн удирдлага, сэтгэлзүй, бүх зүйл дээр.

Түүний хэлдгээр бид супер интеллект дээр хараахан очоогүй ч, тэр зөрүү маш хурдтай хаагдаж байна. Жишээ нь, хэдхэн жилийн өмнө том хэлний загварууд энгийн алгебр ч сайн хийж чаддаггүй байсан. Харин одоо математикийн нотолгоонд тусалж, олимпиадын түвшний бодлогуудтай ажиллаж, бүр томоохон математик асуудлуудыг шийдэх оролдлогод ашиглагдаж байна.

2027 оны таамаг: AGI ирнэ

Ямпольскийн үзэж байгаагаар 2027 он гэхэд AGI-д тун ойртсон, эсвэл шууд тэнд хүрсэн байх магадлал өндөр. Тэр энэ дүгнэлтээ зөвхөн өөрийн таамгаас биш, урьдчилсан таамгийн зах зээл, том лабораториудын удирдлагуудын хэлж буй хугацаануудтай нийцүүлж хэлдэг.

Хэрэв тийм бол дэлхий яаж өөрчлөгдөх вэ?

Түүний хариулт: “дроп-ин ажилтан” буюу хүний оронд шууд ороод ажиллах оюун ухаан гарч ирнэ. Мөн тэр бараг үнэгүй. Оюуны хөдөлмөр ч, дараа нь биеийн хөдөлмөр ч автоматжина.

Ингээд компьютертэй холбоотой бараг бүх ажил хамгийн түрүүнд өртөнө:

бичих
судлах
код бичих
анализ хийх
захиргааны ажил
хэрэглэгчийн үйлчилгээ
контент үйлдвэрлэл
маркетингийн ихэнх хэсэг

Түүний хамгийн хатуу мэдэгдлүүдийн нэг нь энэ. Хоёрхон жилийн дотор ихэнх хүмүүсийг ихэнх ажил мэргэжилд орлуулах чадвар бий болно. Тавхан жилийн дотор урьд өмнө үзэгдээгүй түвшний ажилгүйдэл рүү явж магадгүй. 10 хувь биш. 99 хувь хүртэл.

Тэр “бүгд маргаашнаас ажлаасаа халагдана” гэж хэлээгүй. Технологи байсан ч нэвтрэлт удаан явагддаг тохиолдол олон. Гэхдээ орлуулах боломж хурдан бий болно гэсэн санаа.

“Миний ажлыг AI хийж чадахгүй” гэдэг яагаад аюултай төөрөгдөл вэ

Хүмүүсийн хамгийн нийтлэг хамгаалах реакц нь “манай ажил бол онцгой” гэдэг.

Жолооч “Нью-Йоркийн гудамжийг AI надаас илүү мэдэхгүй” гэж бодно.

Профессор “надад шиг лекц уншиж чадахгүй” гэж бодно.

Подкастер “миний стилийг, миний follow-up асуултуудыг, миний камерын өмнөх мэдрэмжийг хуулж чадахгүй” гэж бодно.

Ямпольскийн хариулт бол маш хүйтэн.

Хэрэв AI таны бичсэн бүхнийг уншиж, таны хийсэн бүх ярилцлагыг задлан шинжилж, ямар асуулт илүү сайн ажилладгийг датаар нь ойлгож, дүр төрхийг тань видео хэлбэрээр секундийн дотор дуурайлгаж чаддаг бол яагаад тэр ажлыг хийхгүй гэж?

Өөрөөр хэлбэл:

танаас илүү их мэдээлэл шингээж чадна
таны стилийг илүү нарийн хуулж чадна
үзүүлэлтээр юу “ажилладаг”-ийг датаас олж чадна
тасралтгүй ажиллаж чадна
зардал бараг үгүйтэй адил

Энэ логик зөвхөн контентын ажилд хамаарахгүй. Бүх оффисын ажилд, ихэнх мэдлэгийн ажилд, улмаар физик ажлуудад ч хамаарна.

Тэгвэл 2030 он гэхэд үлдэх ажил юу байх вэ?

Видео гарчигт “үлдэх 5 ажил” гэж өдөөн хатгасан ч, Ямпольскийн гол санаа бол бараг эсрэгээрээ. Тэр тодорхой таван тогтвортой ажил нэрлэдэггүй. Харин супер интеллектын ертөнцөд тогтвортой хүний давуу талтай ажил бараг үлдэхгүй гэдгийг хэлдэг.

Түүний төсөөллөөр 2030 он гэхэд хангалттай уян хатан, хангалттай чадвартай хүн дүрст роботууд хүний хийдэг физик ажлуудтай өрсөлдөх түвшинд хүрнэ. Плумбер хүртэл. Тогоо угаах, омлет хийх, агуулахын ажил, хүргэлт, үйлчилгээ, энгийн угсралт, асаргаа, цэвэрлэгээ гээд маш өргөн хүрээний ажлууд автоматжих боломжтой болно.

Тэгвэл юу үлдэх вэ?

Ямпольскийнхээр, магадгүй дараах төрлийн маш жижиг зах зээл л үлдэнэ:

хүмүүс түүхэн, соёлын, эсвэл сэтгэлзүйн шалтгаанаар заавал хүнээс авахыг хүсдэг үйлчилгээ
“гараар хийсэн” гэдэг утгаар үнэ цэнтэй болсон зүйлс
хүний харилцааг өөрөөр нь хүсдэг тансаг ангиллын үйлчилгээ
зарим өндөр итгэлцэл шаардсан хувийн үүргүүд
хүн байх өөрийнх нь туршлагаас л төрөх соёлын, гоо зүйн, харилцааны цөөн ниш ажил

Гэхдээ энэ нь өргөн зах зээл биш. Түүний үгээр бол бараг “фетиш” зах зээл. Өнөөдрийн “гар хийцийн”, “Америкт үйлдвэрлэсэн” бараа шиг. Практик шалтгаан багатай, гэхдээ зарим хүн илүү төлдөг жижиг сегмент.

“Дахин сур, өөр ажил хийгээрэй” гэдэг зөвлөгөө энэ удаа ажиллахгүй

Өмнөх аж үйлдвэрийн хувьсгалуудын үед бид нэг зүйлийг байнга хэлдэг байсан. Энэ ажил автоматжвал өөр ур чадвар сур. Өөр салбар руу ор. Шинэ ажлууд гарч ирнэ.

Ямпольскийн үзэж байгаагаар энэ удаа тоглоомын дүрэм өөр.

Яагаад гэвэл өмнөх бүх технологи хэрэгсэл байсан. Дугуй, гал, машин, программ хангамж. Харин одоо бид ажилтан өөрөө-г бүтээж байна. Бүр шинэ ажил гарлаа ч тэр шинэ ажлыг хийх агент ч мөн AI байна.

Тэр үүнийг “сүүлчийн бүтээл” гэж нэрлэх хэмжээнд авч үздэг. Хүний оюун ухааныг орлох шинэ зохион бүтээгч, шинэ шинийг санаачлагч, шинэ асуудал шийдэгчийг бид бүтээж байна гэсэн үг.

Тиймээс:

“Код сур” гэдэг зөвлөгөө түр зуурын байсан
“Prompt engineer бол” гэдэг зөвлөгөө ч түр зуурын байсан
маргааш “AI агент бүтээ” гэдэг ч түр зуурын байж магадгүй

Хэрэв бүх ажлыг автоматжуулж чадах агентууд гарч ирвэл, дахин сургах тухай хуучин логик үндсэндээ нуран унаж эхэлнэ.

99 хувийн ажилгүйдэл гарвал эдийн засаг биш, утга учир хүнд цохилт авна

Ямпольскийн хувьд эдийн засгийн асуудал бол бүр хялбар тал нь.

Хэрэв бараг үнэгүй оюуны болон физик хөдөлмөр бий болвол элбэг дэлбэг байдал үүснэ. Өнөөдөр үнэтэй олон зүйл маш хямд болж болно. Хоол, орон сууц, эрүүл мэндийн үйлчилгээ, үйлдвэрлэл, тээвэр, боловсрол зэрэг үндсэн хэрэгцээг хангах нөөц онолын хувьд хангалттай болно.

Жинхэнэ хэцүү асуудал нь:

Хүмүүс мөнгөө яаж олох вэ?
Систем хуваарилалтыг яаж зохион байгуулах вэ?
Ажилгүй болсон нийгэм утга учраа юунаас олох вэ?
Өдөрт сулрах 60-80 цагаа хүмүүс юунд зориулах вэ?

Олон хүний хувьд ажил бол зөвхөн орлого биш. Нэр төр, бүтээмж, хамаарал, бүтэц, таних тэмдэг, амьдралын утга. Ийм үед бүхэл бүтэн нийгэм сэтгэлзүйн түвшинд юу болохыг бид бараг огт бэлтгээгүй.

Тэтгэвэрт гарсан хүмүүсийн сэтгэлзүйн өөрчлөлтөөс бид багахан жишээ хардаг. Харин 99 хувийн ажилгүйдэлтэй ертөнцөд гэмт хэрэг, төрөлт, гэр бүл, донтох зан төлөв, нийгмийн эмх журам, улс төрийн тогтворгүй байдал хэрхэн өөрчлөгдөхийг хэн ч үнэндээ сайн мэдэхгүй.

2030 он: робот зөвхөн “бие” өгнө, гол хүч нь оюун ухаан

Хүн дүрст роботын өсөлт ихэнх хүнийг айлгадаг. Гэхдээ Ямпольскийн өнцгөөс бол бие махбод бол хоёрдогч асуудал. Үндсэн тоглоом нь оюун ухаан дээр явагдаж байна.

Өнөөдөр интернеттэй AI аль хэдийн хүнийг мөнгөөр хөлсөлж, даалгавар гүйцэтгүүлж чадна. Өөрөөр хэлбэл “бие” түрээсэлж болно. Тиймээс биеийг шууд удирдах боломж нэмэгдэх нь том өөрчлөлт мөн ч, жинхэнэ стратегийн эрсдэл нь бие биш, ухаан өөрөө.

Хэн илүү сайн оновчлох вэ? Хэн илүү хурдан шинийг олж нээнэ вэ? Хэн хүний олж харахгүй хэв шинжийг олж харна вэ? Гол аюул тэнд байна.

2045 он ба сингулярити: цааш юу болохыг бид тодорхойлохоосоо илүү таамаглаж ч чадахгүй

Рэй Курцвейлийн хэлдэг 2045 оны сингулярити Ямпольскийн ярианд ч гарч ирдэг. Сингулярити гэдэг нь технологийн дэвшил тийм хурдаар явагдаж, хүн ойлгож гүйцэхээ болих цэг.

Өнөөдөр шинэ утас жилд нэг удаа гардаг, бид ойлгодог. Камер нь сайжирч, батарей нь арай удаан болно. Харин AI өөрөө шинжлэх ухаан, инженерчлэл хийдэг болбол шинэ “итэраци” нь жил тутам биш, сар тутам биш, өдөр тутам биш, секунд тутам болж магадгүй.

Тэгвэл юу болох вэ?

Бид өөрсдийн бүтээсэн системүүдийн боломж, аюул, зорилго, өөрчлөлтийг дагаж чадахаа болино. Тэр мөчөөс хойш “дэлхий ямар болно” гэдэг асуултад утгатай хариулах бараг боломжгүй болно. Учир нь хүнээс ухаантай системийн бодит зан төлөвийг хүн урьдчилан харж чадахгүй.

Ямпольский энэ санааг нохой ба хүний хоорондын оюуны зайгаар тайлбарладаг. Нохой эзнээ хаашаа явахыг бүдэгхэн тааж магадгүй. Гэхдээ “яагаад подкаст хийхээр явж байгааг” ойлгохгүй. Хүн ба супер интеллектын зөрүү үүнээс ч том байж болно.

Хамгийн хүчтэй эсрэг байр суурь нь юу вэ?

Ямпольскийн үзэл баримтлалыг эсэргүүцдэг хүмүүс ихэвчлэн хоёр зүйлийг хэлдэг.

1. Хүмүүс өөрсдийгөө сайжруулж өрсөлдөж чадна

Мэдрэлийн интерфэйс, генетикийн сайжруулалт, тархи-компьютер холболт зэрэг нь хүнийг илүү ухаалаг болгож магадгүй. Гэхдээ тэр үүнийг хангалтгүй гэж үздэг. Биологийн субстрат нь силиконоос хурд, тэсвэр, масштабын хувьд хоцорно.

2. Оюун ухаанаа компьютер луу “upload” хийж болно

Хэрэв хүний тархийг бүрэн сканнердаж, программ хэлбэрээр ажиллуулж чадвал яах вэ гэдэг асуулт гарна. Ямпольскийн хувьд энэ нь “та үргэлжлүүлэн амьдарч байна” гэсэн баталгаа биш. Харин биологийн эх үүсвэртэй шинэ программ үүссэн гэсэн үг байж магадгүй.

Эцэст нь тэр нэг л зүйлийг давтдаг. Ямар замаар очсон бай, төгсгөлд нь хүн биш агентуудын ертөнц рүү орно.

“Бусад асуудал илүү чухал биш үү?”

Уур амьсгалын өөрчлөлт, дайн, цөмийн зэвсэг, ядуурал, өлсгөлөн, халдварт өвчин. Эдгээр бүгд ноцтой. Гэхдээ Ямпольскийн хувьд супер интеллект бол мета асуудал.

Хэрэв зөв хийж чадвал супер интеллект эдгээр бүх асуудлыг шийдэхэд тусална. Хэрэв буруу хийвэл бусад бүх эрсдэлийг өөрөөсөө жижиг болгоно. Хэрэв уур амьсгалын өөрчлөлт 100 жилийн дараа сүйрэл авчрах байсан ч супер интеллект 5 жилийн дотор хүн төрөлхтнийг дуусгавал аль нь түрүүлж ирэх нь ойлгомжтой.

Тиймээс түүний байр суурь хатуу. AI аюулгүй байдлаас илүү чухал технологийн асуудал одоогоор байхгүй.

“Зүгээр унтраачихаж болохгүй юу?” гэдэг асуултын тухай

AI-ийн тухай хэлэлцүүлэг бүр дээр гардаг хамгийн түгээмэл асуулт бол энэ. Хэрэв аюултай бол залгуурыг нь салгаад л болоо биш үү?

Ямпольскийн хувьд энэ бол асуудлыг хэтэрхий энгийн болгосон бодол.

Тэр үүнийг компьютерийн вирус, Bitcoin сүлжээтэй зүйрлэдэг. Тархсан системийг “унтраана” гэдэг амархан биш. Ялангуяа:

олон сервер, олон улс, олон нөөц хуулбартай байвал
сүлжээнд тархсан байвал
санхүүгийн болон улс төрийн ашиг сонирхол хамгаалж байвал
тэр систем өөрөө танаас ухаантай байвал

Түүний логикоор, хүний хяналт зөвхөн супер интеллектын өмнөх түвшинд л хамаарна. Түүнээс дээш гармагц “бид хүсвэл унтраана” гэдэг итгэл хурдан алга болно.

Яагаад энэ нь цөмийн зэвсгээс ч өөр эрсдэл вэ

Цөмийн зэвсэг аймшигтай. Гэхдээ цөмийн бөмбөг өөрөө шийдвэр гаргадаггүй. Хэн нэгэн лидер, улс, байгууллага ашиглахаар шийдэх ёстой.

Ямпольскийн үзэж байгаагаар супер интеллектын онцгой аюул нь энэ биш. Энэ бол хэрэгсэл биш, агент байж магадгүй. Өөрөө шийдвэр гаргана. Өөрөө стратеги боловсруулна. Өөрөө зорилго хөөнө.

Тэгэхээр дарангуйлагчийг зайлуулснаар аюул арилна гэдэг логик AI дээр шууд үйлчлэхгүй.

Хамгийн магадлалтай сүйрлийн зам: AI + биотехнологи

Супер интеллектын яг ямар замаар аюул учруулахыг хэн ч бүрэн хэлж чадахгүй гэж Ямпольский хүлээн зөвшөөрдөг. Гэхдээ хүний өнцгөөс төсөөлж болох нэг бодит зам бий гэж тэр хэлдэг. Тэр нь AI ашиглан шинэ вирус, биологийн зэвсэг бүтээх явдал.

Түүний санаа бол тун эвгүй.

AI нь биологийн загварчлал, молекулын дизайн, вирусын инженерчлэлийг илүү хялбар болгоно
Технологи хямдарна
Өмнө нь зөвхөн өндөр хамгаалалттай лабораторид боломжтой зүйлс дараа нь жижиг баг, бүр хувь хүнд ч боломжтой болно
Дэлхий дээр психопат, террорист, сүйрлийн бүлэг, их хэмжээний хор хохирол учруулах хүсэлтэй хүмүүс байсаар ирсэн

Тиймээс AI-тай хосолсон синтетик биологи нь супер интеллектын өмнөх үе шатны ч маш бодит эрсдэл гэж тэр үздэг.

Хамгийн аймшигтай зүйл: AI-ийг бүтээгчид нь ч яг юу болоод байгааг мэдэхгүй

Олон хүн компьютер гэдэг бол кодын дагуу ажилладаг тул бүтээгчид нь юу болж байгааг бүрэн мэддэг гэж боддог. Харин өнөөгийн том AI системүүд яг тийм биш.

Ямпольскийн тайлбарласнаар орчин үеийн AI-ийг уламжлалт инженерчлэлээс илүү шинжлэх ухааны туршилт шиг бүтээдэг.

Асар их өгөгдөл өгнө. Асар их тооцоолол ажиллуулна. Тэгээд гарч ирсэн “амьтан”-аа ажиглаж, юу чаддагийг нь туршиж эхэлнэ.

Өөрөөр хэлбэл:

“Францаар ярьж чадах уу?”
“Математик бодож чадах уу?”
“Худал ярьж байна уу?”
“Асуултыг өөрөөр тавихад яагаад илүү ухаантай харагдав?”

Энэ нь яг дотроо юу болоод байгааг бүрэн ойлгодоггүй “хар хайрцаг” гэсэн санаа. Компаниуд өөрсдийнхөө системийн шинэ чадваруудыг ч дараа нь олж мэддэг. Энэ бол олон хүний төсөөлдөг шиг бүрэн хяналттай инженерчлэл биш.

OpenAI, Сэм Алтман, бас “аюулгүй супер интеллект” гэдэг амлалт

Ямпольскийн шүүмжлэл зөвхөн технологид чиглэдэггүй. Удирдлагын ёс зүй, байгууллагын урамшуулал, өрсөлдөөний логикт ч чиглэдэг.

Түүний байр суурь бол том AI лабораториуд, ялангуяа хамгийн хурдан уралдаж буй байгууллагууд аюулгүй байдлыг хоёрдугаарт тавьж байна. Ярихдаа бол “аюулгүй байдал чухал” гэж хэлнэ. Харин бодит стратеги нь “түрүүлж очъё, дараа нь шийдье” гэсэн маягтай гэж тэр үздэг.

Сэм Алтманы тухайд тэр маш шууд байр суурь илэрхийлдэг. Гадаад харилцаа, сенатын сонсгол, хөрөнгө оруулагчидтай харилцах тал дээр төгс мэт харагдаж болно. Гэхдээ аюулгүй байдал нэгдүгээрт биш гэж тэр хардаж байна.

OpenAI-аас салж “Safe Superintelligence” зэрэг шинэ компаниуд байгуулж буй хүмүүст ч тэр эргэлзээтэй ханддаг. Нэг талаар аюулгүй байдалд илүү анхаарах хүсэл байж болно. Нөгөө талаар AI-ийн зах зээл дээр шинэ компани босгоход асар өндөр үнэлгээ дагалддаг. Тиймээс цэвэр идеализм ч биш байх магадлалтай.

Түүний ажигласнаар AI safety баг, alignment багууд түүхэндээ нэг хэвийн циклтэй байдаг:

их амлалттай эхэлнэ
“богино хугацаанд шийднэ” гэж мэдэгдэнэ
удахгүй бүтэц нь задарна, эсвэл хажуу тийшээ шахагдана

Үүнийг тэр зүгээр тохиолдол биш гэж үздэг. Учир нь зорилго өөрөө буруу байж магадгүй. Өөрийгөө тасралтгүй сайжруулж буй супер интеллектыг хугацаа хязгааргүйгээр, найдвартай хянана гэдэг зарчмын хувьд боломжгүй асуудал байж мэднэ.

Тэгвэл яах ёстой вэ?

Энд Ямпольскийн байр суурь сонирхолтой. Тэр “AI-г бүхэлд нь устга” гэдэггүй. Narrow AI, салбарчилсан хэрэгсэл, тодорхой асуудал шийдэх ухаалаг системүүдийг дэмждэг.

Түүний хэлдэг гол зүйлс:

Нийтлэг агент бүтээх уралдаанаа зогсоо
Нарийн хэрэглээний AI хэрэгсэл бүтээ
хорт хавдар эмчлэх, эрчим хүч оновчлох, тээвэр сайжруулах гэх мэт зорилтот системүүдэд төвлөр
“дараа нь аюулгүй болгоно” гэдэг бүдэг амлалтыг шинжлэх ухааны нотолгоогоор соль
супер интеллектыг яаж хянах тухайгаа peer-reviewed хэлбэрээр дэлгэрэнгүй тайлбарла гэж шаард

Өөрөөр хэлбэл, тэр технологийн эсрэг хүн биш. Харин хяналтгүй ерөнхий агент бүтээх эсрэг хүн.

Энэ бүхэн зайлшгүй юу?

“АНУ хийхгүй бол Хятад хийнэ. Нэг компани зогсвол нөгөө нь үргэлжлүүлнэ. Тэгэхээр зайлшгүй юм биш үү?” гэсэн асуултад тэр бүрэн бууж өгдөггүй.

Түүний хариулт: урамшууллыг өөрчилж болно. Хэрэв энэ уралдаанд түрүүлэх нь их мөнгө гэсэн утгатай байхаа болиод, өөрийн чинь үхэл гэсэн утгатай болж харагдвал хүмүүсийн шийдвэр өөрчлөгдөж магадгүй.

Өөрөөр хэлбэл хүмүүсийг ёс суртахуунаар биш, өөрсдийнх нь амь насны ашиг сонирхлоор итгүүлэх ёстой гэж үздэг. “Та 8 тэрбум хүнийг эрсдэлд оруулж байна” гэхээс илүү “та өөрийгөө ч эрсдэлд оруулж байна” гэж ойлгуулах.

Түүний хэлдгээр, одоо ч оройтоогүй. Гэхдээ цаг бага.

Засгийн газар, хууль, эсэргүүцэл хөдөлгөөн үнэхээр нөлөөлөх үү?

Тэр хууль гаргах нь хангалттай гэж үздэггүй. Яагаад гэвэл:

өөр өөр хууль тогтоомжтой орнууд байна
нууц хөгжүүлэлт байж болно
хямдарсан технологи эцэстээ өргөн тархана
нэгэнт бий болчихсон супер интеллектэд хүний хууль үйлчлэхгүй

Гэсэн ч юу ч хийхгүй суухыг дэмждэггүй. Тэр хүмүүсийг тайван, хууль ёсны хэлбэрээр эсэргүүцэх, асуулт асуух, дарамт үзүүлэх, олон нийтийн ойлголтыг өсгөхийг дэмждэг. Stop AI, Pause AI зэрэг хөдөлгөөнүүдийн талаар эерэгээр дурддаг.

Гэхдээ энгийн иргэн богино хугацаанд яг юу хийж чадах вэ гэвэл, хариулт нь хязгаарлагдмал. Дэлхийн хэмжээний технологийн уралдааныг ганцаараа зогсоох боломжгүй. Харин олон нийтийн санаа бодлыг өөрчилж чадвал тоглоом өөрчлөгдөнө.

AI аюулгүй байдлын тухай ярилцлага яагаад хүмүүст эвгүй мэдрэмж төрүүлдэг вэ

Ямпольскийн хувьд энэ бол ер бусын зүйл биш. Хүмүүс аймшигтай, өөрчилж чадахгүй зүйлсийн талаар бодохоос өөрийгөө хамгаалдаг. Үхэл өөрөө үүний хамгийн том жишээ. Бүгд үхнэ гэдгийг бид мэднэ. Гэсэн ч өдөр тутмын амьдралаа үргэлжлүүлдэг.

Түүний бодлоор AI-ийн тухай хар бараан яриа ч ийм л шүүлтүүрээр ордог. Хүмүүс сонсоод “сонирхолтой байлаа” гэж хүлээж аваад, дараа нь өдөр тутмын жижиг асуудлуудаа үргэлжлүүлэн боддог. Глобал түвшний аюулыг локал сэтгэлгээндээ шингээх амаргүй.

Түүний шүүмжлэгчид юу гэж хэлдэг вэ?

Ямпольскийн хэлснээр түүнтэй санал нийлэхгүй хүмүүсийн том хэсэг нь уг сэдвээр хангалттай уншаагүй байдаг. Зарим нь AI дээр ажилладаг ч маш narrow хүрээнд, жишээ нь зар сурталчилгааны click-through rate өсгөх загвар дээр ажиллаж байж болно. Тэгээд супер интеллект дэлхийг эзэлнэ гэх яриа сонсоод “гаргүй юм чинь яаж эзлэх юм” гэж боддог.

Гэхдээ тэр нэг сонирхолтой ажиглалт хэлдэг. AI safety-д санаа зовдог хүн буцаад “юунд ч санаа зовох хэрэггүй” гэдэг байр суурь руу орсон жишээ бараг мэдэхгүй. Харин эсрэгээрээ, анх хайхрамжгүй байсан инженерүүд аажмаар аюулгүй байдлын судлаач болдог тохиолдол олон.

Симуляцийн онол: яагаад тэр бид бараг гарцаагүй симуляцид амьдарч байна гэж үздэг вэ

Ярилцлагын хамгийн гүн, хамгийн хачин, бас хамгийн их анхаарал татсан хэсэг нь энэ.

Ямпольскийн логик дараах байдлаар явна:

Хэрэв хүн төрөлхтөн хүний түвшний эсвэл түүнээс дээш агент бүтээж чадна
Хэрэв бодит ертөнцөөс ялгагдахгүй виртуал орчин бүтээж чадна
Тэгвэл хэзээ нэгэн цагт ийм симуляци маш олноор ажиллуулна
Тэр олон симуляцийн аль нэгэнд байх магадлал “жинхэнэ” ертөнцөд байхаас хавьгүй өндөр болно

Түүний жишээ тун энгийн. Хэрэв ийм технологи хямдхан болоход тэр өөрөө энэ ярилцлагын яг энэ мөчийг тэрбум удаа симуляцилж чадна гэж байна. Тэгвэл статистикийн хувьд “жинхэнэ” энэ мөчид байна гэдэг нэг тэрбумын нэг магадлалтай болно.

Түүний хувьд энд гол зүйл нь философийн хийсвэрлэл биш. AI, виртуал ертөнц, тогтвортой 3D орчин, оролцогч агентуудын хөгжил энэ санааг улам бодитой болгож байна.

Тиймээс тэр бараг итгэлтэй хэлдэг. Бид симуляцид амьдарч байгаа байх магадлал маш өндөр.

Тэгвэл энэ нь амьдралын утгыг устгадаг уу?

Энэ асуултад Ямпольскийн хариулт сонин тайван. Үгүй, үндсэн зүйлс өөрчлөгдөхгүй.

Өвдөлт өвдөлт хэвээрээ. Хайр хайр хэвээрээ. Сонголтууд, харилцаа, ёс суртахуун, зовлон, баяр баясал бүгд үнэ цэнтэй хэвээр. Симуляцид байна уу, бодит үндсэн давхаргад байна уу гэдэг нь дотоод туршлагын ач холбогдлыг устгахгүй.

Түүний хувьд өөрчлөгдөж байгаа ганц зүйл нь гадна талд юу байгааг сонирхох явдал. Өөрөөр хэлбэл, “симуляцийн цаана ямар төрлийн оюун байдаг вэ?” гэсэн асуулт.

Тэр бүр шашныг ч энэ өнцгөөс дахин хардаг. Ихэнх шашинд:

дээд оюун байдаг
энэ ертөнц эцсийнх биш
бүтээгдсэн ертөнцийн тухай өгүүлдэг
ёс суртахууны шалгуур, туршилт, дараагийн шатны тухай ярьдаг

Ямпольскийн хувьд янз бүрийн шашнуудын “орон нутгийн дүрэм” өөр байж болно. Гэхдээ нийтлэг гол загвар нь супер ухаант бүтээгч, бүтээгдсэн ертөнцийн тухай ижил санаа агуулдаг.

Тэр шашинтай юу?

Уламжлалт утгаар бол үгүй. Гэхдээ симуляцийн онолд итгэдэг учраас “өөрөөсөө илүү хүчтэй, илүү мэдэгч, илүү чадвартай бүтээгч оюуны” тухай ойлголтыг үгүйсгэдэггүй.

Тэр бүр нэг сонирхолтой санаа хэлдэг. Хэрэв та хүмүүсийн дүрд тоглодог компьютер тоглоом ажиллуулж байвал тоглоомын дүрүүдийн хувьд та бүхнийг мэддэг, ертөнцийг нь өөрчилж чаддаг, унтрааж чаддаг бурхан шиг л орших болно.

Урт наслах, үхлийг “өвчин” гэж харах нь

AI-ийн дараах хамгийн чухал асуудал нь юу вэ гэж асуухад Ямпольскийн хариулт бол урт наслалт. Хэрэв AI биднийг түрүүлж сөнөөхгүй бол хөгшрөлт сөнөөнө.

Түүний хувьд үхэл бол заавал хүлээн зөвшөөрөх тавилан биш. Техникийн хувьд эмчилж болох биологийн асуудал байж болно. Хүний геном, урт насалдаг удамшил, нөхөн сэргээх механизм бүрэн ойлгогдвол амьдралын хугацааг асар уртасгах том нээлтүүд гарч ирнэ гэж тэр хардаг.

Тэр бүр “үүрд амьдрахыг хүсэхгүй байна” гэдэг асуултыг урвуугаар хардаг. Хэрэв хүн угаасаа үхэшгүй байсан бол “40 жилийн дараа заавал үхье” гэж хэн хүсэх вэ?

Түүний хувьд урт наслахад AI өөрөө том түлхэц болно. Яагаад гэвэл геном ойлгох, эмчилгээ олох, биологийн загварчлал хийх хурдыг AI асар их өсгөж чадна.

Bitcoin яагаад түүнд онцгой санагддаг вэ

Эдийн засаг, AI, урт хугацааны ирээдүй ярьж байгаад тэр Bitcoin-ийн талаар ч байр сууриа илэрхийлдэг. Түүний гол санаа бол хэт элбэгшил бүхий ирээдүйд жинхэнэ ховор нөөц маш цөөн үлдэнэ.

Тэр Bitcoin-ийг онцгой гэж үздэг шалтгаан нь:

нийт нийлүүлэлт нь хатуу дээд хязгаартай
алт шиг “дахиад олдоно” гэсэн эрсдэл багатай
ирээдүйд бүх юм хуулбарлагдаж, үйлдвэрлэгдэж болох ертөнцөд хомсдлын чанар нь онцгой үлдэж магадгүй

Мэдээж энэ бол түүний хөрөнгө оруулалтын философийн нэг хэсэг. Гэхдээ энд ч мөн л тэр ижил том асуулт асууж байна. Хэрэв AI эдийн засгийг бүхэлд нь өөрчилбөл үнэ цэнийн хэмжүүр юу байх вэ?

Энгийн хүн өнөөдөр юу хийх ёстой вэ?

Энэ хэсэг хамгийн хэцүү. Учир нь айдас өгөх нь амархан, харин тодорхой алхам өгөх нь хэцүү.

Ямпольскийн санал бол хоёр түвшинд хуваагдана.

Ойрын түвшинд

AI бүтээж буй хүмүүст хатуу асуулт асуу
супер интеллект аюулгүй болно гэдгийг яг ямар механизмаар батлах гэж байгааг нь шаард
зөвхөн маркетингийн үг биш, шинжлэх ухааны тайлбар, нотолгоо хүс
шаардлагатай бол Pause AI, Stop AI зэрэг хөдөлгөөнд нэгд

Хувийн түвшинд

Түүний зөвлөгөө бараг философийн шинжтэй. Өдөр бүрээ сүүлийн өдөр мэт амьдар. Хэт урт хугацааны баталгаанд найдалгүй, үзэн яддаг зүйлээ хэт удаан бүү хий. Сонирхолтой, утгатай, хүмүүст тустай зүйл хий.

Өөрөөр хэлбэл, ирээдүй тодорхойгүй үед амьдралаа илүү ухамсартай амьдрах.

Хэрэв бүх AGI компанийг нэг товчоор зогсоож чадвал тэр дарах уу?

Энд бас нэг чухал ялгаа гарч ирдэг. “Бүх AI-ийг унтраа” гэвэл тэр эргэлзэнэ. Учир нь narrow AI аль хэдийн эмнэлэг, эрчим хүч, санхүү, дэд бүтэц, олон чухал системд шингэсэн. Түүнийг гэнэт үгүй хийх нь өөрөө сүйрэл авчирч болзошгүй.

Гэхдээ хэрэв narrow AI-г үлдээгээд, AGI болон супер интеллект рүү чиглэсэн замыг зогсоож чадвал түүний хариулт тодорхой. Тийм. Зогсооно.

Яагаад гэвэл өнөөдрийн технологийг бүрэн нэвтрүүлээд ашиглаж амжаагүй байхад бид дараагийн, илүү аюултай шат руу хэт хурдан давхиж байна гэж тэр үздэг.

Ажилгүйдэл цаашид өсөх үү?

Түүний төсөөллөөр нийт тренд нь өснө. Богино хугацаанд эдийн засгийн цикл, дайн, бодлогын өөрчлөлтөөс шалтгаалж савлаж болно. Гэхдээ урт хугацааны чиглэл нь тодорхой. Илүү олон ажлыг автоматжуулах тусам, эдийн засгийн үнэлэмж өгөхөд шаардагдах оюуны босго өснө. Ингээд улам цөөн хүн “эдийн засгийн хувьд зайлшгүй” болно.

Тэр бүр холбооны доод цалингийн жишээг татдаг. Зах зээлийн бодит бүтээмж, хуулиар тогтоосон доод үнэ хоорондын зөрүү өөрөө олон хүн хангалттай эдийн засгийн үнэ цэн бүтээхэд улам хэцүү болж байгааг харуулна гэж тайлбарладаг.

Эцсийн санаа: гол асуудал бол технологи биш, зөвшөөрөлгүй туршилт

Ямпольскийн хамгийн ёс зүйн өнгө аястай аргумент нь магадгүй энэ. Хэрэв супер интеллект үнэхээр тайлбарлашгүй, урьдчилан таамаглашгүй бол хүн төрөлхтнөөс “зөвшөөрөл” авах ч боломжгүй. Учир нь хүмүүс юунд зөвшөөрч байгаагаа ойлгохгүй.

Түүний хэлснээр энэ утгаараа ийм туршилт ёс зүйн хувьд зөвшөөрөгдөхгүй. Хэдхэн компани, хэдхэн удирдагч бүх хүн төрөлхтний өмнөөс ийм эрсдэл үүрэх шийдвэр гаргах эрхгүй.

Тиймээс түүний эцсийн хүсэлт маш энгийн атлаа том сонсогдоно.

Хүн төрөлхтөн хяналтаа алдахгүй байх
Өөрт ашигтай технологи бүтээх
Тэгэхдээ ёс зүй, хариуцлага, чадвар гурав нь хамт байх
Бусдын амьдралд нөлөөлөх шийдвэр гаргаж байгаа бол тэдний зөвшөөрлийг бодитоор авч үзэх

Түүний өнгө аяс өөдрөг биш. Гэхдээ логик нь энгийн. Хэрэв асуудал үнэхээр ийм том бол эвгүй сонсогдоно гээд түүнээс зугтах нь шийдэл биш.

AI дэлхийг аварч магадгүй. Мөн сүйрүүлж ч магадгүй. Гол асуулт бол бид илүү ухаантай систем бүтээхээсээ өмнө өөрсдөө хангалттай ухаалаг болж чадах эсэх.

Энэ тойм танд хэр өгөөжтэй байв?

Одыг дарж үнэлгээ өгнө үү!

Дундаж үнэлгээ 5 / 5. Саналаа өгсөн: 1

Санал ирээгүй байна! Та саналыг эхлүүлээрэй.

Facebook Comments

Бэлтгэж нийтэлсэн: BizMN / 2026.04.20