{"id":531,"date":"2024-01-22T08:44:17","date_gmt":"2024-01-22T07:44:17","guid":{"rendered":"https:\/\/www.jhermann.digital\/?p=531"},"modified":"2025-07-16T11:17:55","modified_gmt":"2025-07-16T09:17:55","slug":"functions-describe-the-world","status":"publish","type":"post","link":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/","title":{"rendered":"Funktionen beschreiben die Welt?"},"content":{"rendered":"\n<p>Vor einer Weile habe ich auf YouTube den Kanal <a href=\"https:\/\/www.youtube.com\/@EmergentGarden\">Emergent Garden<\/a> entdeckt, der neben (medien-)kulturell spannenden Themen wie Memes und Evolution interessante informatisch-philosophische Perspektiven auf k\u00fcnstliche Intelligenz und insbesondere k\u00fcnstliche neuronale Netze er\u00f6ffnet.<\/p>\n\n\n\n<p>In einem der Videos, das mich besonders beeindruckt hat, geht es darum, die Visualisierung des Prozesses zu erm\u00f6glichen, wie k\u00fcnstliche neuronale Netze lernen. Hierbei werden unterschiedliche Komplexit\u00e4tsgrade aufgearbeitet und verschiedene Methoden und Architekturen miteinander verglichen:<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"Watching Neural Networks Learn\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/TkwXa7Cvfr8?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><figcaption class=\"wp-element-caption\">Emergent Garden &#8211; Watching Neural Networks Learn (17.08.2023)<\/figcaption><\/figure>\n\n\n\n<p>Spannend und sicherlich auch zu problematisieren ist die Grundannahme, dass &#8222;Funktionen die Welt beschreiben&#8220;, die direkt zum Beginn des Videos mit einem Ausschnitt einer Vorlesung eines Mathematikprofessors vorgestellt wird. Hierbei hat man es mit einer Sichtweise auf Welt zu tun, die den Anspruch auf eine absolute Berechenbarkeit erhebt. Dieses repr\u00e4sentationalistische Denken blendet aus, dass Daten immer ganz spezifischen Entstehungskontexten entspringen und keine &#8222;objektiven Repr\u00e4sentationen der Welt&#8220; sind. Naturwissenschaftliche F\u00e4cher wie bspw. die Physik greifen mittels mathematischer Funktionen auf M\u00f6glichkeiten der Quantifizierung realweltlicher Ph\u00e4nomene und Prozesse zur\u00fcck. Es geht darum, eine schrittweise Ann\u00e4herung an Funktionen zu realisieren, die es anhand messbarer Einheiten und Datenpunkte zu rekonstruieren gilt. K\u00fcnstliche neuronale Netze werden in diesem Kontext als sogenannte &#8222;universal function approximators&#8220; verhandelt, die sich mit der geeigneten Architektur und ausreichenden Daten an alle m\u00f6glichen Funktionen auch hochdimensionale Weise ann\u00e4hern k\u00f6nnen.<\/p>\n\n\n\n<p>Dabei kommen einige offensichtliche Fragen auf, die gerade im Bezug auf komplexe Ph\u00e4nomene und bspw. soziale Zusammenh\u00e4nge von Bedeutung erscheinen:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Was sind die Grenzen der Komplexit\u00e4t und Dimensionalit\u00e4t dieser Ann\u00e4herungen?<\/li>\n\n\n\n<li>Welche Form der Ann\u00e4herung impliziert die Funktionsweise und Architektur dieser k\u00fcnstlichen neuronalen Netze?<\/li>\n\n\n\n<li>Welche realweltlichen Zusammenh\u00e4nge lassen sich \u00fcberhaupt mithilfe klar definierbarer (vieldimensionaler) Funktionen beschreiben?<\/li>\n\n\n\n<li>Wie sind die nicht-encodierbaren Elemente zu bewerten, z. B. die soziale Dimension der Sprache, die in den Daten zur Ann\u00e4herung an Funktionen (noch) keine Ber\u00fccksichtigung finden?<\/li>\n\n\n\n<li>Was leisten bspw. Sprachmodelle, bei denen Modelle rein auf der Basis von Text trainiert werden, und was geht hierbei verloren?\n<ul class=\"wp-block-list\">\n<li>L\u00e4sst sich am Beispiel von Sprache wirklich eine Ann\u00e4herung vornehmen, die in einem vermeintlich universalen Modell menschlicher Kommunikation m\u00fcnden kann?<\/li>\n\n\n\n<li>Welche Rolle spielen unterschiedliche Sprachen und Multilingualit\u00e4t in diesem Kontext? Unterschiedliche Kulturen und Menschen aus L\u00e4ndern \u00fcberall auf der Welt haben jeweils spezifische Weisen die Welt im Verh\u00e4ltnis zu sich selbst und anderen in wie auch immer gearteten Zeichensystemen zu beschreiben. Was bedeutet das f\u00fcr Sprachmodelle und insbesondere f\u00fcr multilinguale Sprachmodelle?<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>Und zu guter letzt: Welche (theoretische) Rolle spielt Materialit\u00e4t bei diesen Ann\u00e4herungen, insbesondere im Kontext von physical AI? Denn: Gegenw\u00e4rtige KI-Modelle modellieren etwas, das g\u00e4nzlich losgel\u00f6st von materiell-orientierten Daten ist und lediglich Beschreibungen dieser enth\u00e4lt.<\/li>\n<\/ul>\n\n\n\n<p>Das alles sind Fragen, die in den meist informatisch gepr\u00e4gten Diskursen um k\u00fcnstliche Intelligenz nur vereinzelt adressiert werden. Es erweist sich f\u00fcr uns als immer schwerer nachvollziehbar, wie diese Modelle angesichts ihrer hohen Dimensionalit\u00e4t \u00fcberhaupt funktionieren und welche (statistischen) Muster sich in den vielschichtigen Trainings- und Optimierungsprozess herausbilden. Dass moderne tiefe k\u00fcnstliche neuronale Netze im Kern aus einer absurden Anzahl sehr einfacher Recheneinheiten (Perzeptrons) bestehen, macht es uns Menschen nicht unbedingt leichter, die komplexen Strukturen, die sich in ihnen widerspiegeln, nachzuvollziehen. <\/p>\n\n\n\n<p><strong>Vielversprechend erscheint das Potenzial multimodaler Modelle, die in Anbetracht der Ber\u00fccksichtigung einer Vielzahl an Modalit\u00e4ten (Text, Bild, Video, 3D-Modelle, Haptik, etc.) komplexere Ann\u00e4herungen versprechen. Allerdings erfolgt hierbei eine &#8222;Ann\u00e4herung an Welt&#8220; bislang nur so weit, wie es die Abbildung im Raum des Digitalen, die gleicherma\u00dfen auf bestimmte privilegierte und voreingenommene Weisen fokussiert ist, zul\u00e4sst.<\/strong><\/p>\n\n\n\n<p>Zumindest aus der Perspektive des Forschungsfeldes der k\u00fcnstlichen Intelligenz, als Teilgebiet der Informatik, verspricht man sich hierdurch eine immer bessere Ann\u00e4herung an das, was Menschen als vermeintlich &#8222;authentisch intelligent&#8220; wahrnehmen. Gegenw\u00e4rtig sind gro\u00dfe multimodale Modelle auf Basis der sogenannten Transformer-Architektur der <em>state of the art<\/em>, doch wir m\u00fcssen beachten, dass sich das Feld der KI \u00fcberaus dynamisch entwickelt und viele f\u00fchrende Forscher bereits diskutieren, dass LLMs (bzw. LMMs \u2192 Large Multimodal Models) an Relevanz verlieren werden. Wir m\u00fcssen jederzeit damit rechnen, dass es weitere Umbr\u00fcche, wie den, der durch den Transformer ausgel\u00f6st wurde, geben wird. Die Verortung von KI in der physischen Welt hat derzeit in Forschung und Entwicklung einen besonderen Stellenwert. Gerade hier werden mit Ans\u00e4tzen des Reinforcment Learning immense Fortschritte erzielt. Die Qualit\u00e4t und Diversit\u00e4t der Daten, die f\u00fcr das Training und Finetuning von KI-Modellen herangezogen werden, spielen dar\u00fcber hinaus eine nicht zu untersch\u00e4tzende Rolle. Bei Sprachmodellen (und weiterf\u00fchrend multimodalen Modellen) sind die Urspr\u00fcnge von Textdaten aus dem Internet bei diesen &#8222;universellen Funktionsann\u00e4herungen&#8220; besonders kritisch zu bewerten.<\/p>\n\n\n\n<p>Sprachmodelle, die bspw. grundlegend mithilfe von Common Crawl (und oftmals vielen weiteren gr\u00f6\u00dferen sowie handerlesenen Datens\u00e4tzen) trainiert wurden (Basismodell), sind in erster Linie Modelle von Sprache im Internet. Andrej Kaparthy, ein KI-Forscher, der sich zunehmend f\u00fcr KI in Bildungskontexten einsetzt, bezeichnet diese (Basis-)Modelle als verlustbehaftete Komprimierungen des Internets. Sie sind insbesondere durch die englische Sprache, durch Menschen mit Zugang zum Internet und grunds\u00e4tzlich westlich gepr\u00e4gt. Wenn nun mit synthetischen Daten \u2013 das hei\u00dft, dass generative KI-Modelle Inhalte generieren, die wiederum f\u00fcr das Training sp\u00e4terer Modelle verwendet werden \u2013 gearbeitet wird, werden potenzielle Voreingenommenheiten reproduziert und verst\u00e4rkt, was nach wie vor nicht angemessen problematisiert wird.<\/p>\n\n\n\n<p><strong>Insbesondere aus p\u00e4dagogischer Sicht gilt es, diese Sachverhalte zum Gegenstand p\u00e4dagogischer Auseinandersetzungen zu machen.<\/strong> <strong>Gerade die Grenzen k\u00fcnstlicher neuronaler Netze in diesem Kontext gilt es konsequent zu beachten, wenn es um eine kritische Reflexion dieser technologischen Entwicklungen geht. Vor allem wenn es um die nicht-encodierbaren sowie nicht-digitalisierten Aspekte von Kultur und Welt geht, m\u00fcssen wir auf andere Weise \u00fcber KI nachdenken. <\/strong><\/p>\n\n\n\n<p>Der <a href=\"https:\/\/www.youtube.com\/@EmergentGarden\" target=\"_blank\" rel=\"noreferrer noopener\">YouTube-Kanal von Emergent Garden<\/a> \u2013 der als Aufh\u00e4nger und Ansto\u00df f\u00fcr diese frei formulierten Gedanken diente \u2013 bietet viele weitere spannende Einblicke in die Thematik und ist aus meiner Sicht \u00fcberaus sehenswert! Die Inhalte sind sehr anregend und irritierend \ud83d\ude09<\/p>\n\n\n\n<p><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Vor einer Weile habe ich auf YouTube den Kanal Emergent Garden entdeckt, der neben (medien-)kulturell spannenden Themen wie Memes und Evolution interessante informatisch-philosophische Perspektiven auf k\u00fcnstliche Intelligenz und insbesondere k\u00fcnstliche neuronale Netze er\u00f6ffnet. In einem der Videos, das mich besonders beeindruckt hat, geht es darum, die Visualisierung des Prozesses zu erm\u00f6glichen, wie k\u00fcnstliche neuronale Netze [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_coblocks_attr":"","_coblocks_dimensions":"","_coblocks_responsive_height":"","_coblocks_accordion_ie_support":"","footnotes":""},"categories":[1],"tags":[8,11,9,10],"class_list":["post-531","post","type-post","status-publish","format-standard","hentry","category-allgemein","tag-artificial-intelligence","tag-artificial-neural-networks","tag-generative-ai","tag-neural-networks"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v26.1.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Funktionen beschreiben die Welt? - Jannis Hermann<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Funktionen beschreiben die Welt? - Jannis Hermann\" \/>\n<meta property=\"og:description\" content=\"Vor einer Weile habe ich auf YouTube den Kanal Emergent Garden entdeckt, der neben (medien-)kulturell spannenden Themen wie Memes und Evolution interessante informatisch-philosophische Perspektiven auf k\u00fcnstliche Intelligenz und insbesondere k\u00fcnstliche neuronale Netze er\u00f6ffnet. In einem der Videos, das mich besonders beeindruckt hat, geht es darum, die Visualisierung des Prozesses zu erm\u00f6glichen, wie k\u00fcnstliche neuronale Netze [&hellip;]\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/\" \/>\n<meta property=\"og:site_name\" content=\"Jannis Hermann\" \/>\n<meta property=\"article:published_time\" content=\"2024-01-22T07:44:17+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-07-16T09:17:55+00:00\" \/>\n<meta name=\"author\" content=\"Jannis Hermann\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Jannis Hermann\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/\",\"url\":\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/\",\"name\":\"Funktionen beschreiben die Welt? - Jannis Hermann\",\"isPartOf\":{\"@id\":\"https:\/\/www.jhermann.digital\/#website\"},\"datePublished\":\"2024-01-22T07:44:17+00:00\",\"dateModified\":\"2025-07-16T09:17:55+00:00\",\"author\":{\"@id\":\"https:\/\/www.jhermann.digital\/#\/schema\/person\/491b189e8cc6b244310672b51b4b5a0c\"},\"breadcrumb\":{\"@id\":\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Startseite\",\"item\":\"https:\/\/www.jhermann.digital\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Funktionen beschreiben die Welt?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.jhermann.digital\/#website\",\"url\":\"https:\/\/www.jhermann.digital\/\",\"name\":\"Jannis Hermann\",\"description\":\"Digital Sandbox\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.jhermann.digital\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.jhermann.digital\/#\/schema\/person\/491b189e8cc6b244310672b51b4b5a0c\",\"name\":\"Jannis Hermann\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/www.jhermann.digital\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/9352751b7a90f08fd98c3a8e7313b126e8adda402bd591db231af817f8b0b160?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/9352751b7a90f08fd98c3a8e7313b126e8adda402bd591db231af817f8b0b160?s=96&d=mm&r=g\",\"caption\":\"Jannis Hermann\"},\"sameAs\":[\"https:\/\/www.jhermann.digital\"],\"url\":\"https:\/\/www.jhermann.digital\/index.php\/author\/larryling\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Funktionen beschreiben die Welt? - Jannis Hermann","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/","og_locale":"de_DE","og_type":"article","og_title":"Funktionen beschreiben die Welt? - Jannis Hermann","og_description":"Vor einer Weile habe ich auf YouTube den Kanal Emergent Garden entdeckt, der neben (medien-)kulturell spannenden Themen wie Memes und Evolution interessante informatisch-philosophische Perspektiven auf k\u00fcnstliche Intelligenz und insbesondere k\u00fcnstliche neuronale Netze er\u00f6ffnet. In einem der Videos, das mich besonders beeindruckt hat, geht es darum, die Visualisierung des Prozesses zu erm\u00f6glichen, wie k\u00fcnstliche neuronale Netze [&hellip;]","og_url":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/","og_site_name":"Jannis Hermann","article_published_time":"2024-01-22T07:44:17+00:00","article_modified_time":"2025-07-16T09:17:55+00:00","author":"Jannis Hermann","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Jannis Hermann","Gesch\u00e4tzte Lesezeit":"6\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/","url":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/","name":"Funktionen beschreiben die Welt? - Jannis Hermann","isPartOf":{"@id":"https:\/\/www.jhermann.digital\/#website"},"datePublished":"2024-01-22T07:44:17+00:00","dateModified":"2025-07-16T09:17:55+00:00","author":{"@id":"https:\/\/www.jhermann.digital\/#\/schema\/person\/491b189e8cc6b244310672b51b4b5a0c"},"breadcrumb":{"@id":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.jhermann.digital\/index.php\/2024\/01\/22\/functions-describe-the-world\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Startseite","item":"https:\/\/www.jhermann.digital\/"},{"@type":"ListItem","position":2,"name":"Funktionen beschreiben die Welt?"}]},{"@type":"WebSite","@id":"https:\/\/www.jhermann.digital\/#website","url":"https:\/\/www.jhermann.digital\/","name":"Jannis Hermann","description":"Digital Sandbox","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.jhermann.digital\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/www.jhermann.digital\/#\/schema\/person\/491b189e8cc6b244310672b51b4b5a0c","name":"Jannis Hermann","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/www.jhermann.digital\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/9352751b7a90f08fd98c3a8e7313b126e8adda402bd591db231af817f8b0b160?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/9352751b7a90f08fd98c3a8e7313b126e8adda402bd591db231af817f8b0b160?s=96&d=mm&r=g","caption":"Jannis Hermann"},"sameAs":["https:\/\/www.jhermann.digital"],"url":"https:\/\/www.jhermann.digital\/index.php\/author\/larryling\/"}]}},"_links":{"self":[{"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/posts\/531","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/comments?post=531"}],"version-history":[{"count":35,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/posts\/531\/revisions"}],"predecessor-version":[{"id":852,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/posts\/531\/revisions\/852"}],"wp:attachment":[{"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/media?parent=531"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/categories?post=531"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.jhermann.digital\/index.php\/wp-json\/wp\/v2\/tags?post=531"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}