Home

Evaluation zählt – Ein Anwendungshandbuch für

1. 59 59 5 2 DatendarstellUng Wie Daten nicht pr sentiert werden sollten 5 63 5 3 bertragbarkeit 64 Beurteilung der bertragbarkeit 5 64 Aufgaben der Ursprungsstadt 5 65 Die Aufgaben der Zielstadt S 66 6 Und jetzt Zur ck zur 67 6 1 Einige Mythen ber Evaluation 67 Evaluationen sind viel zu kompliziert S 67 Evaluationen sind zu teuer S 67 Evaluationen dienen nur dazu das Projekt oder Programm zu bewerten und dann abzuschaffen oder die Verantwortlichen zu kritisieren S 68 6 2 St rungen im Ablauf einer Evaluation 68 Die Rahmenbedingungen f r das Projekt ver ndern sich 5 68 Das Projekt verz gert sich 5 69 Es werden zu viele Daten erhoben 5 69 Es werden zu wenige Daten erhoben 5 69 6 3 Die Qualit t einer Evaluation erh hen 69 Realistische Erwartungen formulieren 5 69 Realistische Abl ufe planen 5 69 R ckmeldungen geben und einholen 5 69 Dauerhafte Speicherung der Daten siche
2. ER f Fin Anwendun gshan f r die kommunale Verkehrsplanung Herausgeber Umweltbundesamt Fachgebiet 3 1 Umwelt und Verkehr Postfach 14 06 06844 Dessau Ro lau W rlitzer Platz 1 06844 Dessau Ro lau Tel 49 3 40 21 03 0 info umweltbundesamt de www umweltbundesamt de 3 umweltbundesamt de umweltbundesamt Autoren Katrin Dziekan Veronique Riedel Nicola Moczek Stephan Daubitz Stephanie Ke ler Stefanie Kettner Michael Abraham Direkter Kontakt zu den Autorinnen und Autoren katrin dziekan uba de Publikationen als pdf http www uba de evaluation verkehrsplanung Cartoons Auke Herrema www aukeherrema nl bersetzung Vertaalbureau Snelvertaler www snelvertaler nl sowie Nicola Mozek www psyplan de Waxmann Evaluation Matters A practitioners guide to sound evaluation for urban mobility measu res Erstver ffentlichung in Englisch 2013 Titelfoto panoramarx Fotolia Satz Team VIERZIG A www vierzig a de Stand Januar 2015 ISSN 2363 832X Evaluation z hlt Ein Anwendungshandbuch f r die kommunale Verkehrsplanung WIRKUNGS ANALYSE 1955 ZUGEBEN DAS IST WIRKLICH SICHER Fur DIE KINDER ABER AHDELRERSEITS z S T m N SER Inhaltsverzeichnis N __ EOEN 4 _ _ _ 6 1 1
3. gt 5255 5456245 2 5 eier 6 1 2 _ 7 1 3 Was ist der Sinn einer Evaluation 8 1 4 Wie lauft eine Evaluation ab 9 Wann wird evaluiert 5 9 Welche Arten von Evaluationen gibt es 5 11 1 5 Wer sollte bei der Evaluation eingebunden werden 12 1 6 Weshalb gibt es dieses Buch zu u 000 ae aa 12 2 Wirkunsseyalliallon 1 0004 Rt 14 2 1 a 15 2 2 __ _ ___ 18 273 0 bes 21 2 4 23 Quasi experimentelle Vergleichsgruppen 5 25 Untersuchungsdesigns ohne Vergleichsgruppen 5 26 Entscheidung f r ein Evaluationsdesign S 27 2 5 Methoden der Datenerhebung 2 2 2 52 4 5 55 5 55 6 5 6 29 Ausf hrliche Einzelbefragungen 5 29 Umfragen mit Fragebogen 5 30 Fokusgruppen 5 32 Beobachtungstechniken 5 32 Vor und Nachteile der Methoden zur Datenerhebung 5 33 Skale
4. 7 2 NZ uawyeuuy 5 21 8 S e 18 1 nu 815 1 59 2 1 as jeuy as jeuy Abe UopuejsawyeugewW 8 24 5 ad An zpjalo g 7 us saq U9191 014U0 nz 25 2 25 19 UN 2 8 25 S 16 sep 1 8 519 S P ypeu SnjyAzpalo d S P u gds 815 1 s y nqn as jeuy 220 5 as jeuy 4 Sunzz swn ypeu 18 pjalo g us saq 8 3215194 2 2 8 Y919 319A19UydeN pun d An spjalo d 21 81 1 2
5. NICOLA MOCZEK Diplom Psychologin seit 1997 Gesch ftsf hrerin von PSY PLAN Institut f r Architektur und Umwelt psychologie Berlin Schwerpunkte Nachhaltige Stadtentwicklung Wohnen Mobilit t Nutzung erneuerbarer Energien Orientierungssysteme Besucherforschung und Evaluation Seit 2001 Mither ausgeberin der Zeitschrift Umweltpsychologie moczek psyplan de STEPHANIE KESSLER Diplom Geographin seit 2011 freiberufliche Beraterin f r nachhaltige st dtische Mobilit t 2009 2013 Mitarbeit in CIVITAS POINTER evaluation support Schwerpunkte nachhaltige st dtische Mobilit t im internationalen Vergleich EU F rderung qualitative Evaluierung Kampagnen Fahrradverkehr mail stephaniekessler eu STEFANIE KETTNER Freiberuflich t tige Geographin im Bereich Verhaltens und Marktforschung mit den Schwerpunkten Mobilit t und Tourismus 2009 2014 wissenschaftliche Mitarbeiterin am Fachgebiet Integrierte Verkehrsplanung Technische Universit t Berlin stefanie kettner gmx de MICHAEL ABRAHAM Diplom Ingenieur Stadt und Regionalplanung seit 2012 wissenschaftlicher Mitarbeiter am Zentrum f r Technik und Gesellschaft ZTG der Technischen Universit t Berlin im Bereich Mobilit t und Raum 2007 2012 Technische Universit t Berlin Fachgebiet Integrierte Verkehrsplanung u a Mitarbeit in CIVITAS MIMOSA Schwerpunkte Prozessevaluation nachhaltige Mobilit t Fahrradverkehr Verkehrs planung im internationalen Bereich info mic
6. PROBLEM Die erhobenen Daten sind die Grundlage f r die Evaluation Ver ffentlichung und Entscheidungs findung und sind deshalb sehr wertvoll Sie m ssen auf haltbaren und m glichst sicheren Speicher medien gespeichert werden beispielsweise USB Sticks externe Festplatten usw Die Datensicherung muss regelm ig durchgef hrt werden damit immer die neuesten Daten gesichert sind Mindestens zwei r umlich getrennt gelagerte Sicherungen sind ratsam Die Daten m ssen regelm ig auf Voll st ndigkeit und Unversehrtheit berpr ft werden Und schlie lich m ssen sie vor unbefugtem Zugriff gesch tzt werden Es empfiehlt sich entsprechende Datenschutzregeln von den beteiligten Personen unterschreiben zu lassen 3 2 Datenverarbeitung und analyse Im folgenden Abschnitt werden die Schritte zur Durchf hrung statistischer Testverfahren erl utert Die Abbildung 3 2 zeigt diese im berblick Nullhypothese und Alternativhypothese formulieren Testmethode ausw hlen Ergebnisse interpretieren Abbildung 3 2 Durchf hrungsschritte statistischer Testverfahren Eine der ersten Aufgaben bei der Datenanalyse bestehen darin die empirisch erhobenen und ausge werteten Daten in Tabellenform zusammenzufassen Wie oft nutzen Sie die Stadtbusse Prozent 472 58 1 5 7 Tage pro Woche 58 1 3 4 Tage pro Woche 186 2 9 80 9 1 2 Tage pro Woche 86 10 6 91 5 1 3 Tage im Monat 40 4 9
7. gt codiert mit 2 Welche Strecke sind Sie heute mit okm codiert mit 1 Verh ltnisskala dem Auto gefahren 6155 codiert mit 2 In welchem Monat endet Ihre Januar codiert mit 1 Intervallskala Jahreskarte Februar codiert mit 2 Dezember gt codiert mit 12 Wie bewerten Sie den Stadtbus hin gar nicht komfortabel gt 1 Ordinalskala sichtlich des Komforts der Sitze wenig komfortabel 2 etwas komfortabel 3 sehr komfortabel 4 Abbildung 3 1 Beispiel Codeplan mittlere Spalte Vor der Dateneingabe sollte jedem Fragebogen bzw jedem Datenblatt der befragten Person eine Identi fizierungsnummer ID zugeordnet werden Am besten werden dazu die B gen durchnummeriert Auf diese Weise k nnen ausgef llte Frageb gen sp ter erneut mit der Dateneingabe verglichen werden z B um m gliche Fehler bei der Dateneingabe zu korrigieren Den Antwortm sglichkeiten sind laut Codeplan Zahlenwerte zugeordnet Abb 3 1 mittlere Spalte diese werden an Stelle der Antwort in die Tabelle eingetragen F r jede befragte Person wird eine neue Zeile angelegt Jede Spalte steht f r eine Frage Autobesitz Strecke Auto Sitzkomfort Jahreskarte 39 2 1 3 3 40 2 2 3 3 41 1 3 12 3 42 1 3 10 4 43 2 1 9 3 Tabelle 3 1 Beispiel Datentabelle Auf diese Weise werden die Daten z B in die Tabellenkalkulationssoftware Microsoft Excel oder eine Statistiksoftware 2 SPSS SAS Statistica usw per Ha
8. 2 Quasi experimentelles Randomisiertes Vorher Nachher Vergleich Design mit Vergleichsgruppe Kontrollgruppendesign Anstieg der M glichkeiten f r aussagestarke und g ltige analytische Folgerungen Abbildung 2 8 Auswahl des Evaluationsdesigns Alle im Folgenden beschriebenen vereinfachten Designs verzichten auf eine oder mehrere der folgenden Datenerhebungen Erhebung der Vorherdaten vor dem Test Erfassen einer Kontroll bzw Vergleichsgruppe vor oder nach der Ma nahme Jede dieser Verk rzungen mindert die Aussagekraft der Evaluation Es muss klar gesagt werden dass die Verwendung einer einfachen Zeitreihenanalyse oder eines Vorher Nachher Vergleichs keine pr zisen R ckschl sse auf die Wirkungen zulassen die ausschlie lich durch die Ma nahme entstanden sind Die vier vereinfachten Designoptionen sind neben dem Goldstandard Design 1 der nachstehenden Tabelle 2 2 auf der n chsten Seite zusam mengefasst 1197 19 2 18 4 1495 1205 8 18159 5 35 2 5 as jeuy UOopueJsswyeugew 8 Zunzjaswn addn zpyalo g 815 1 18130 4 uajgenien 192
9. Ein spezifisch festgelegtes Ziel wird viel eher erreicht als ein generelles Ein spezifisches Ziel ist z B die Erh hung des Rad verkehrsanteils der Sch lerinnen und Sch ler auf den Strecken zwischen Wohnung und Schule Um messbar zu sein muss bei dem konkret formulierten Ziel angegeben sein was eine deutliche Steigerung bedeutet Hier beispielsweise 5 Die Ver nderung bei der Verkehrsmittelwahl kann durch eine Erhebung der aktuell genutzten Verkehrstr ger vor und nach der Umsetzung gemessen werden Damit liefert eine nderung des Modal Split der Stichproben bez glich Auto fahrten Radfahren und zu Fu zur Schule gehen quantifizierte Ergebnisse die dieses Kriterium erf llen Grundvoraussetzung f r die Messung der Wirksamkeit einer Ma nahme ist die Bereitstellung bzw Erhebung von Daten vor der Einf hrung der Ma nahme So l sst sich eine Reduktion der Schulfahrten mit dem Auto zugunsten des Fahrrads und des zu Fu gehen beobachten bzw messen Nach einem Blick auf die vorhandenen Daten zum Anteil der Autonutzung f r diese Fahrten vor der Ma nahme stellt man fest dass das Ziel einer Verschiebung der H lfte der Stichprobe zu Fahrradfahren und zu Fu gehen unerreichbar und zu ehrgeizig formuliert ist 17 18 Realistisch Ist es m glich das Ziel Es ist nicht hilfreich zu ehrgeizige Ziele zu formulieren Basie mit den verf gbaren Ressourcen zu rend auf den Erfahrungen von Fachleuten und den verf gbaren
10. Spezifisches Ziel Beschreibung der Indikatoren Die Zufriedenheit mit der Wahrnehmung der Ver nderung bei der Wahrnehmung der Verkehrssicherheit bei Kindern Sicherheit Verkehrssicherheit bei Lehrkr ften Schul deren Eltern und Lehrpersonal um kindern und Eltern 30 erh hen Die Zahl der Unf lle mit Kindern Sicherheit Anzahl der Kinderunf lle in der Umgebung in der Umgebung von Schulen um von Schulen 5 verringern Den Anteil der Autofahrten zur Verkehrsmittelwahl Durchschnittliche Prozentzahl der Strecke Schule um 5 zugunsten der Schule Zuhause f r jedes Verkehrsmittel Verkehrsmittelwahl Fahrrad und zu Fu gehen verringern Tabelle 2 1 Liste der m glichen Indikatoren f r das Beispiel Schulumgebung Zur Erhebung der wahrgenommenen Sicherheit der Schulumgebung wird eine schriftliche oder m ndliche Befragung der Eltern Lehrkr fte und Schulkinder durchgef hrt Zur Bewertung der Ma nahme m ssen die Anzahl der Fahrten nach Verkehrsmittel erhoben werden bevor die Ma nahme umgesetzt wird Referenz und danach f r die Wirkungsevaluation Die Differenz zwischen den Anteilen der Verkehrsmittel vor und nach der Umsetzung abz glich der nde rungen die auch ohne Ma nahme eingetreten w ren beschreiben die Wirkung der umgesetzten Ma nahme siehe Tabelle 2 1 Wenn gleichzeitig mehrere Verkehrsma nahmen parallel evaluiert werden sollte kritisch gepr ft werden ob es Indikatoren gibt die von mehr als einer
11. 600 lokalen Verkehrsunternehmen http www vdv de Au erdem k nnen viele Verkehrsverb nde in Deutschland sehr umfangreiche Statistiken liefern 10 5 Verhaltensdaten Mobilit t in Deutschland MiD Mobilit t in Deutschland MiD ist eine bundesweite Befragung von 25 000 Haushalten zu ihrem allt glichen Verkehrsverhalten im Auftrag des Bundesministeriums f r Verkehr und digitale Infra struktur Sie wurde erstmals im Jahr 2002 durchgef hrt und im Jahr 2008 wiederholt hnliche Umfragen fanden bereits 1976 1982 und 1989 unter dem Namen KONTIV Kontinuierliche Erhebung zum Verkehrsverhalten statt Die Daten bilden eine Grundlage f r das Verkehrsverhalten in der Bundesrepublik Deutschland Regionale Aufstockungen der Befragung liegen f r den Raum Hannover und das Land Brandenburg vor Die Daten k nnen bei der Clearingstelle f r Verkehrsdaten bestellt werden http daten clearingstelle verkehr de order form html 223 Die n chste Erhebung der MiD wird f r das Jahr 2015 vorbereitet Voraussichtlich werden die Ergeb nisse f r das Jahr 2016 erwartet Eine kostenfreie Webanwendung zur Auswertung der Erhebung Mobilit t in Deutschland 2008 wird angeboten http www htmldb hosting com pls htmldb f p MIT08 1 81 82 Mobilit t St dten SrV 2008 2013 Die Verkehrserhebung Mobilit t in St dten ist aus dem seit 1972 durchgef hrten System repr senta tiver Verkehrsverhaltensbefragungen SRV hervorge
12. Dies gilt es bei der Auswahl sorgf ltig zu beachten denn es k nnten m gliche Erkl rungen f r Unterschiede bei den Effekten sein Daher ist es wichtig alle relevanten Variablen zu beschreiben und ggf zu untersuchen Im Evalst dter Projekt Schulumgebung nehmen zun chst zwei Schulen teil die in einem Wohngebiet an einer m ig stark befahrenen Stra e mit breiten Geh und Radwegen liegen Die Lehrerschaft und Eltern sind engagiert und aufgeschlossen f r die Themen Langsamverkehr und Sicherheit Die beiden Schulen die als jeweilige Vergleichsstandorte ausgew hlt und zur Teilnahme gewonnen werden k nnen sind zwar hinsichtlich der Merkmale Architektur Gr e Sch lerzahl p dagogische Ausrichtung und Altersmischung sehr hnlich sie liegen aber eher am Stadtrand mit einer st rker gewerblich ausgerichteten Infrastruktur etwas mehr Lieferverkehr und es gibt keine Radwege in der unmittelbaren N he Das Einzugsgebiet der Schule ist etwas gr er d h die Sch ler haben durchschnittlich einen Kilometer weitere Anfahrtswege Die Lehrer sind engagiert und am Thema interessiert haben aber aufgrund von einigen Krankheitsf llen deutlich weniger Zeit als die Lehrkr fte am Ma nahmenstandort Wenn also die Effekte am Ma nahmenstandort deutlich positiver ausfallen als am Vergleichs standort dann kann dies nicht nur auf die Ma nahme selbst zur ckgef hrt werden Andere Einfluss wie z B das Einzugsgebiet oder das Fehlen
13. Eine Evaluation ben tigt Ressourcen Zeit Geld und beteiligte Personen Aber sie ist immer ein sehr lohnender Prozess Welche Arten von Evaluationen gibt es Von gro en langfristigen international vergleichenden Prozessen die Millionen Euro kosten bis zu kleinen kurzen Evaluationen einzelner Ma nahmen in einer Stadt gibt es eine gro e Vielfalt Evalua tionen k nnen auf viele verschiedene Arten eingeteilt werden f r den Kontext in Bezug auf urbane Mobilit t gibt es grunds tzlich zwei Bewertungsfelder die Wirkungsevaluation und die Prozess evaluation die immer parallel betrachtet werden Hauptziel bei der Wirkungsevaluation ist es zu zeigen ob es einen Effekt der Ma nahme gab bzw ob die gesetzten Ziele erreicht wurden Dazu wird die Situation vor der Ma nahme mit der Situation nach bzw mit der Ma nahme verglichen Die Wirkungsevaluation macht eine Bestandsaufnahme oder bewertet die Leistung blicherweise ben tigt man diese Art der Evaluation f r die Entscheidungs findung z B f r die Auswahl oder den Umfang einer Ma nahme da dabei harte Fakten pr sentiert werden Zu den alternativen Entscheidungen k nnen beispielsweise geh ren den Eingriff an anderen Standorten durchf hren bertragbarkeit weiterhin Mittel bereitzustellen die Mittel aufzustocken den Status Probezeit beizubehalten nderungen durchzuf hren und es erneut zu versuchen oder auch das Projekt zu stoppen Die Wirkungsevaluation wird in Kapitel 2
14. F r Evalstadt wurden Aktivit ten konzipiert und durchgef hrt Das Spektrum der Ma nahmen reicht von kleineren Infrastrukturma nahmen verbesserten PnV Angeboten und Informationskampagnen bis hin zu Ma nahmen f r den Bereich Schule Die Aktivit ten lassen sich folgenden Themenfeldern zuordnen Alternativen zum Pkw neue PnV Angebote Dienstleistungen z B Erh hung der Taktdichte oder bedarfsgerecht angepasste Linienf hrung F rderung des Fu und Radverkehrs Mobilit tsmanagement von Aktivit ten und Zielen Mobilit tsberatung PNV Angebote f r Ausfl ge und Freizeitaktivit ten Aktionstage Einkaufen ohne Auto Reduktion der Pkw Nutzung Ausbau von Carsharing Angeboten und Verbreitung von Informationen ber diese von Medien begleitete Selbstversuche Ein Monat ohne Auto Bewusstes Autofahren z B Kurse f r energiesparendes Autofahren Mobilit tsbildung f r den Bereich Schule werden Unterrichtseinheiten Nachhaltige Mobilit t konzipiert und an mehreren Schulen durchgef hrt Nat rlich werden in unserer fiktiven Evalstadt die implementierten Ma nahmen evaluiert Wie dabei vorgegangen wurde zeigen wir in Ausz gen in diesem Buch 1 2 Was ist eine Evaluation Evaluationen manchmal auch Evaluierungen genannt haben das Ziel Projekte oder Ma nahmen sach und fachgerecht hinsichtlich vorher festgelegter Kriterien zu bewerten Dazu werden syste matisch relevante Informationen gesammelt und miteina
15. abbrechen k nnen Dies ist umso eher der Fall je l nger die beiden Untersuchungszeitr ume ausein ander liegen oder umso aufw ndiger die erste Untersuchung war Um diese so genannte Abbruchrate zu minimieren k nnten entsprechende Anreize oder Belohnungen gesetzt werden Die Abbruchrate wird jedoch wahrscheinlich nie bei Null liegen Ein Panel hat eine Reihe von Vorteilen beispielsweise eine hohe Qualit t und G ltigkeit der Daten es m ssen aber auch die hohen Kosten f r die Durchf h rung einkalkuliert werden Entscheidung f r ein Evaluationsdesign Bei der Wahl eines Evaluationsdesigns sind das Vorhandensein und die Eigenschaften einer Kont rollgruppe und eines standortes oder entsprechender Vergleichsgruppen sowie die H ufigkeit der Messung wichtige Kriterien Dies ist unabh ngig von der Frage ob neue Daten erhoben werden oder verf gbares Material analysiert wird Die Datenerhebung ist oft ein gro er Posten im Budget sie kann f r ber die H lfte der Kosten einer Evaluierung verantwortlich sein und ist zudem eine zeitaufw ndige Aufgabe Daher stellt dieser Abschnitt M glichkeiten vor um das Evaluationsdesign zu vereinfachen Leider gehen die wirtschaft lichsten Designs zu Lasten der Qualit t nachfolgend beispielsweise die Designs 4 und 5 Dennoch k nnen sie n tzliche Erkenntnisse f r die Praxis liefern JA Vergleichsgruppe m glich S heiten zuf llig aufgeteilt werden
16. dass die Befragten abbrechen Planen Sie den n tigen Grad der Detailliertheit und der Genauigkeit vor der Datenerhebung Ber cksichtigen Sie dass auch die Verwaltung der erhobenen Daten eine komplexe Aufgabe ist und Erfahrung voraussetzt Stimmt die Qualit t und der Umfang der erhobenen Daten Werden sie gem den Richtlinien f r Datenschutz gespeichert und gesichert Nennen Sie gegen ber den Befragten den Grund und die Ziele der Umfrage Wer ist der Auftraggeber was geschieht mit den Informationen wozu dienen sie F hren Sie in jedem Fall einen Vortest Pretest durch 3 Dateneingabe und Datenauswertung Zur richtigen Analyse von Daten wurden schon viele B cher geschrieben Die folgenden Unterkapitel geben eine knappe bersicht Kapitel 3 1 und 3 2 beschreiben die quantitative Datenanalyse w hrend das Kapitel 3 3 eine Einf hrung in die qualitative Datenanalyse gibt 3 1 Datenaufbereitung und Datensicherung Mit Hilfe der in den vorangegangenen Abschnitten vorgestellten Methoden werden viele Daten erhoben Um diese so zu strukturieren dass sie in einer Tabelle dargestellt und anschlie end ausge wertet werden k nnen ist ein so genannter Codeplan erforderlich Dies ist eine Liste aller Variablen mit allen Antwortm glichkeiten Darin wird jeder Antwort ein bestimmter Zahlenwert Code zuge wiesen Die gesammelten Daten werden dann nach diesem Plan codiert Besitzen Sie ein Auto Ja codiert mit 1 Nominalskala Nein
17. den Antriebsarten den Nutzlasten zu Fahrerlaubnissen und Verkehrsauff lligkeiten und vieles mehr http www kba de Der Verband der Automobilindustrie VDA stellt automobilspezifische Statistiken zusammen http www vda de 10 4 Verkehrsdaten Im Auftrag des Bundesministeriums f r Verkehr und digitale Infrastruktur BMVI wird im Jahres rhythmus vom Deutschen Institut f r Wirtschaftsforschung Berlin eine umfassende verkehrssta tistische Datengrundlage im Taschenbuch Verkehr in Zahlen erarbeitet F r nahezu alle Bereiche des Verkehrs in ihrer institutionellen und funktionalen Gliederung werden Statistiken f r die Bundesrepu blik Deutschland aufbereitet http www bmvi de viz Stra enverkehrsz hlungen Stra endatenbanken Unfallstatistiken Die Bundesanstalt f r Stra enwesen BASt stellt Statistiken zu Stra enverkehrsz hlungen und zu Verkehrs und Unfalldaten zur Verf gung http www bast de Weitere Verkehrsdaten liefern Stra enverkehrsz hlungen Stra endatenbanken der L nder amtliche Stra enverkehrsunfallstatistiken F r die Recherche von Unfallschwerpunkten vor Ort kann Kontakt mit den rtlichen Polizeidienststellen aufgenommen werden Statistiken f r den ffentlichen Personenverkehr Statistiken des ffentlichen Personenverkehrs und des Schieneng terverkehrs aus Sicht der Verkehrsunternehmen stellt der Verband Deutscher Verkehrsunternehmen vor einem Zusam menschluss von ca
18. die im Rahmen von deutschen oder europ ischen Verkehrsprojekten entwickelt worden sind Diese k nnen hilfreich f r die Auswahl ma nahmenspezifischer Indikatoren sein Oft liegen sogar Daten f r diese Messgr en vor die Sie im Rahmen Ihres Projektes zur Einordnung nutzen k nnen Aber nicht jedes Indikatorenset passt auf jede Ma nahme ggf muss man dieses anpassen Der Einsatz h ngt auch davon ab ob die ben tigten Mess sr en in Ihrer Kommune erhoben werden k nnen oder sogar schon vorliegen Besonders sinnvoll ist der Einsatz von Indikatoren welche auch in anderen St dten mehr oder weniger regelm ig erhoben werden denn so k nnen Daten und Programme gegen bergestellt werden siehe auch Kapitel 10 auf Seite 80 Innerhalb eines Programms k nnen Indikatoren nach Kontext und ihrer Wichtigkeit festgelegt werden beispielsweise in indikatorenspezifischen Methodenbl ttern Versuchen Sie beispielsweise Alternativen zu individuell genutzten motorisierten Fahrzeugen in Ihrer Stadt durch Verkehrsverlagerung zu f rdern und zu messen sollten Sie die Verkehrsmittelwahl anschauen Die Daten k nnen durch den quantitativen Messwert durchschnittliche Verkehrsmittel wahl Passagiere Fahrzeuge oder Fahrten erhoben werden Dieser kann die Anteile der Passagiere Fahrzeugkilometer oder der Fahrten f r jedes Verkehrsmittel im Jahresverlauf beschreiben Der Anteil nicht motorisierter Verkehrsmittel wie beispielsweise zu Fu gehen und Radfahren
19. dungen zu treffen damit die umgesetzten Ma nahmen m glichst erfolgreich sind und die erreichten Ziele denen entsprechen die urspr nglich erwartet wurden Nicht zuletzt helfen gute Evaluationen auch dabei aus Erfahrungen zu lernen Das Handbuch erkl rt Schritt f r Schritt das Vorgehen der Evaluation anhand von nachvollzieh baren Beispielen Wo immer es sinnvoll erscheint liefert es Hinweise zu weiterf hrenden Informations quellen 1 1 Wo bitte liegst Evalstadt Zur Verdeutlichung der Evaluation mit Beispielen wurde f r diese Ver ffentlichung Evalstadt erfunden Es ist eine mittlere Stadt mit rund 90 000 Einwohnern irgendwo in Deutschland Diese erfundene Evalstadt hat sich in besonderer Weise dem Thema Mobilit t angenommen und unter dem Leitbild Evalstadt nachhaltig mobil einen umfassenden Ma nahmenkatalog beschlossen Ziel ist vor allem den Pkw Verkehr zugunsten nachhaltiger Verkehrstr ger zu reduzieren In dem Modellver such Mobile Evalstadt geht es insbesondere um die Frage ob sich verkehrs bzw mobilit tsbezogene Einstellungen und Verhaltensweisen durch verschiedene Strategien bzw Ma nahmen ver ndern lassen Dahinter steht die Annahme dass sich Ver nderungen des Verkehrsverhaltens erreichen lassen wenn Ver nderungen der Infrastruktur umgesetzt und neue Angebote geschaffen werden Dabei sollen die Ziele und Ma nahmen begleitend kommuniziert werden damit die Bev lkerung berzeugt und motiviert wird
20. kann mit dem Anteil von ffentlichen Verkehrsmitteln Bus Stra enbahn U Bahn Zug und dem motorisierten Indi vidualverkehr mit dem Auto oder Motorrad verglichen werden Bitte beachten Sie dass f r den bestm glichen Einblick in die Auswirkungen Ihrer Ma nahmen m glicherweise weitere Interpretationen erforderlich sind und die Ma nahmen m glicherweise noch um zus tzliche lokale Indikatoren erg nzt werden m ssen siehe Kasten 2 21 Kasten 2 Allgemeine und lokale Indikatoren Besonders im Rahmen gr erer EU Projekte werden oft Indikatoren Listen erarbeitet beispielsweise die Maestro Indikatorliste Es lohnt sich vorhandene Indikatorenlisten daraufhin zu pr fen ob diese auch auf Ihre Ma nahme passen denn sie werden bei einer standort bergreifenden Evaluation helfen also den Vergleich mit anderen erm glichen Es ist aber eher unwahrscheinlich dass Sie Listen finden die vollst ndig zur Messung der Wirkungen in Ihrem Projekt ausreichen Sie werden daher wahr scheinlich weitere spezifische lokale Indikatoren f r Ihre Evaluation finden m ssen Diese Indikatoren k nnen verwendet werden um eine Bewertung auf einer detaillierten Ebene durchzuf hren um die Auswirkungen in Bezug auf ein bestimmtes lokales Problem zu beurteilen und um die Auswirkungen der Besonderheiten einer lokalen Ma nahme zu beurteilen Im Beispiel Schulumgebung f hren die Ziele und die Ursache Wirkungskette zu folgenden Indikatoren
21. r einen Learning History Workshop Er Sie sollte Erfahren in Moderationstechniken und Gruppendiskussionen sein F hig sein eine vertrauensvolle Atmosph re aufzubauen in der jeder Teilnehmende respektiert wird und offen sprechen kann So gut ber das Projekt informiert sein dass ihm ihr die wichtigsten Aspekte bekannt sind z B die Ma nahmenziele beteiligte Interessengruppen sowie m gliche kontroverse Punkte und Konflikte Gut ber die Rollen und Verantwortlichkeiten der Beteiligten innerhalb der Ma nahme informiert sein Seine ihre Aufgaben sind Zeit und Ablauf einhalten Zwischenergebnisse zusammenstellen Clustern Ergebnisse festhalten Beitr ge von allen Teilnehmenden gleicherma en erm glichen Eine offene Diskussionskultur durch Fragen anregen Das gemeinsame Aufstellen und Visualisieren einer Chronologie des Projektes ist der erste wich tige Schritt im Workshop Dazu bietet sich die Diskussion an Hand einer Zeitachse an Alle wichtigen Projektphasen werden entlang der Achse eingetragen Damit das Aufstellen nicht zu lange dauert sollten die Zeitachse und der grobe Projektverlauf schon vor dem Workshop vorbereitet werden Im Laufe des Workshops werden dann alle relevanten Ereignisse erg nzt Das Ergebnis ist eine kommen tierte Zeitachse die f r sich schon ein interessantes Analyseinstrument darstellen kann Haben einzelne Beteiligte von Ereignissen nicht oder erst sp ter erfahren Haben sie diese eventuell unter schie
22. 96 4 Seltener 29 3 6 100 0 Summe 813 100 0 Tabelle 3 3 Beispieltabelle f r eine erste H ufigkeitsanalyse Der erste Schritt der Deskriptivstatistik oder auch beschreibende Statistik ist die Z hlung in Tabelle 3 3 in der Spalte H ufigkeit dargestellt Sie ist f r alle Arten von Skalen m glich Neben den absoluten H ufigkeiten gibt es kumulative d h fortlaufend aufsummierte H ufigkeiten der Kategorien und prozentuale H ufigkeiten Letztere erm glichen es Verteilungen mit unterschiedlichen Gesamtaus ma en zu vergleichen In der Regel sollten diese H ufigkeiten immer mit der entsprechenden Anzahl der befragten F lle angegeben werden in der Tabelle als Summe bezeichnet Bei der Auswertung von Skalen m ssen h ufig Kategorien oder Klassen erstellt werden um die Eigenschaften der Vertei lung besser zu veranschaulichen Die Anzahl dieser Klassen muss so gew hlt werden dass die Lese rinnen und Leser den berblick behalten Statistische Parameter dienen dem Zweck zusammengefasste Informationen ber spezielle Eigenschaften bei der Verteilung von Merkmalen zu liefern Es gibt zwei Arten von Parametern Lage parameter und Verteilungsma e Welche Parameter berechnet werden k nnen h ngt von der jewei ligen Skala ab Lageparameter werden auch als Ma e der zentralen Tendenz bezeichnet Sie erm glichen Aussagen ber die Verteilung der Eigenschaften in Bezug auf die Frage welcher Wert die Gesamtver teilung am be
23. Ma nahme umfassend bewerten zu k nnen Ursache Wirkungskette cause effect chain Methode f r die Absch tzung der Wirkung einer Ma nahme bei der Kausalzusammenh nge verdeutlicht werden sollen Vorher Nachher Vergleich before and after com Methode zur Bestimmung von Kausalzusammen parison h ngen durch Datenerhebung vor und nach der Ma nahme Wirkungsevaluation impact evaluation Wirksamkeitspr fung einer spezifischen Ma nahme soll Aufschluss geben ber alle positiven wie negativen Wirkungen einer Ma nahme und m glichst Kausalzusammenh nge verdeutlichen Zeitreihenanalyse time series analysis Analyse bei der die Variablen zu mehreren Zeit punkten gemessen werden so lassen sich sowohl Ver nderungen zwischen den Versuchsperso nen als auch innerhalb der Versuchspersonen feststellen Zielgruppenanalyse target group analysis Methode f r die Absch tzung der Wirkung einer Ma nahme bei der alle relevanten Personen oder Gruppen separat betrachtet werden 9 Literatur und Internetseiten 9 1 Kommentierte Literaturliste zu Evaluationen BORTZ J RGEN D RING NICOLA 2006 Forschungsmethoden und Evaluation f r Human und Sozi alwissenschaftler berarbeitete Auflage Heidelberg Springer Das Buch ist das Standardwerk f r die Sozialwissenschaften und daher unbedingt zu empfehlen Es eignet sich allerdings nicht f r Einsteiger FLICK UWE Hg 2006 Qualitative Evaluationsforschung Konzepte Methoden Um
24. Methode als zu spielerisch oder zu soft Durch eine neutrale Benen nung kann solchen Vorurteilen aber gut vorgebeugt werden Falls sich die Teilnehmenden gar nicht zum Mitmachen motivieren lassen k nnen die einzelnen Perspektiven auch getrennt voneinander in Einzelinterviews oder auch schriftlich eingeholt werden Dabei kommen aber die beiden wichtigsten Elemente n mlich das Zuh ren und der Diskurs deutlich zu kurz 5 Sonstige Methoden Es gibt noch weitere geeignete Methoden f r die Prozessevaluation beispielsweise Fokusgruppen oder Befragungen siehe Kapitel 2 5 auf Seite 29 Beide werden auch in der Wirkungsevaluation eingesetzt Wichtig ist dass die Methoden geeignet sein sollten das Verfahren selbst den Verlauf die Arbeitsabl ufe eben den Gesamtprozess mit allen f rdernden und hemmenden Faktoren zu bewerten Es geht an dieser Stelle nicht um die Ergebnisse oder Effekte der Ma nahmen Learning History Storytelling Befragung Datenerhebung Eingehende syste Moderierte Gruppendiskus Strukturierte m nd durch Ausf llen matische Informati sion mit bis zu 15 ausgew hl liche oder schriftli Wie eines standardi onsbeschaffung und ten Teilnehmenden bestimm che Befragung sierten Formulars bewertungmitallen ter Zielgruppen zu einem Prozessbeteiligten speziellen Thema Fokus Einfache und effiziente Datenerhebung Ausreichende Beteiligung
25. Verkehr sind Steigt der Anteil der Radfahrenden auf einer bestimmten Strecke nach dem Einrichten von Radwegen Verringert sich die L rmbelastung an einer Stra e durch die Verringerung der maximal zul ssigen Geschwindigkeit von 50 km h auf 30 km h Erh ht sich die wahrgenommene Sicherheit von Fu g ngern wenn der Zebrastreifen in der Nacht beleuchtet wird In aller Regel werden zur Bestimmung der Wirkung Daten erhoben Um zuverl ssig absch tzen zu k nnen ob die Wirkung tats chlich auf die Ma nahme zur ckzuf hren ist sollten relevante Informationen also Daten vor und nach der Ma nahme erfasst und miteinander verglichen werden Idealerweise werden die Daten auch an einem Kontrollstandort erhoben um die Ma nahmenwirkung besser darzustellen Designs f r Wirkungsevaluationen beruhen stets auf Vergleichen In der Regel werden dazu zwei Gruppen verglichen eine bei der die geplante Intervention stattfindet Zielgruppe und eine zweite bei der keine Intervention vorgenommen wird Kontroll bzw Vergleichsgruppe Von Kontrollgruppe spricht man nur dann wenn diese per Zufallszuteilung auch Randomisierung vor Beginn einer Ma nahme gebildet wird Von Vergleichsgruppe spricht man hingegen dann wenn die Zuteilung ohne Zufallszuteilung gebildet wird Bei sonst gleichen Bedingungen f r die beiden Gruppen sollten die gemessenen Ergebnisse nur der umgesetzten Ma nahme zugeschrieben werden Eine Betrachtung der Zielgruppe zu ausschlie l
26. allerletzte Kapitel Der Comic am Anfang des Buches und der auf der vorherigen Seite illustrieren dass die scheinbar naheliegenden L sungen f r Mobilit ts und Umweltprobleme nicht immer die richtigen sein m ssen Evaluation kann dabei helfen dass Problem besser zu erkennen geeignete L sungen zu finden und sich damit f r die passende wirksame Ma nahme zu entscheiden Durch Evaluation kann man viel Geld sparen einerseits weil die Ma nahme nahezu optimal umgesetzt wird und andererseits weil Fehlentwicklungen fr hzeitig erkannt werden k nnen und ein Gegensteuern m glich wird Gute Datensammlungen sind eine verl ssliche Entscheidungsgrundlage f r kommunale Akteure und erm g lichen das Erkennen von Ver nderungen und damit auch Wirkungen von zum Beispiel kommunalen verkehrlichen Ma nahmen Fakten und harte Zahlen sprechen eine klare Sprache und jeder Politiker und jede Politikerin verwendet freudig positive Statistiken in der Kommunikation ber den Erfolg einer Ma nahme Aber es gilt auch aus Fehlern zu lernen So sind ebenfalls scheinbar negative Ergebnisse der Evaluation sehr hilfreich damit andere nicht die gleichen Fehler machen bzw Erkenntnisse gewonnen werden k nnen wie man eine Ma nahme so ver ndert dass sie positive Ergebnisse bringt Transparenz ist dabei wichtig und W hlerinnen und W hler wissen gern wof r ihre Steuergelder eingesetzt werden Evaluation sollte ein integraler Bestandteil eines jeden Projektes sein Sie
27. dargestellt WIDER STANDE UND TREIBER Die Prozessevaluation konzentriert sich auf die Mittel und die Verfahren bei der Umsetzung einer Ma nahme Sie beginnt bei der Projektentwicklung und geht ber die ganze Laufzeit des Projekts Dabei werden f r alle Projektt tigkeiten die positiven und negativen Faktoren die den Umsetzungspro 11 zess der Ma nahme beeinflussen bewertet und so Informationen zur berwachung und Verbesserung des Projekts geliefert Die Prozessevaluation wird in Kapitel 3 vorgestellt Die Prozessevaluation und die Wirkungsevaluation sollen immer als Einheit gesehen werden Nur ein sogenannter gemischter Evaluationsansatz mit beiden Verfahren kann eine echte Begr ndung f r den Erfolg geben oder den Lernerfolg aus einem Misserfolg einer Ma nahme sicher stellen 1 5 Wer sollte bei der Evaluation eingebunden werden An einer Ma nahme sind in der Regel viele Menschen mit unterschiedlichen Hintergr nden Interessen und Motivationen beteiligt Eine gute Evaluation stellt daher sicher dass m glichst alle Personen gruppen die von der Ma nahme m glicherweise betroffen sind angemessen beteiligt werden Hierzu z hlen u a Politik und Entscheidungstr ger Das sind Mitarbeiterinnen und Mitarbeiter der Verwaltungen auf verschiedenen r umlichen und hierarchischen Ebenen beispielsweise die Europ ische Kommission Ministerien und Beh rden auf nationaler regionaler und lokaler Ebene usw F r sie ist
28. dass sich im Laufe des gesamten Verfahrens beispielsweise die politischen Rahmenbedingungen und damit m glicherweise auch strategische Ziele ndern k nnen Auch andere Bereiche sind oft von nderungen betroffen Ver nderungen im kommunalen Haushalt oft einher gehend mit einer Verknappung der finanziellen Mittel Ver nderungen beim Personal und den betei ligten Fachleuten oder soziale oder gesellschaftliche Ver nderungen treten immer wieder auf Hinzu kommen auch technische Innovationen die einen gro en Einfluss auf die Mobilit t haben k nnen Allein die Einfl sse der mobilen Applikationen Apps und mobiles Internet die heute auf Smart phones genutzt werden haben das Mobilit tsverhalten einer breiten Bev lkerung innerhalb der letzten f nf Jahre sehr stark beeinflusst Ob freie Parkpl tze die schnellste U Bahnverbindung der sicherste Radweg attraktive Fu g ngerzonen Gesch fte Restaurants und Cafes Mitfahrgelegenheiten Taxis Mietwagen Car Sharing oder Call a Bike dies alles und noch vieles mehr l sst sich ber Apps online schnell finden oder nutzen Zudem bieten diese meistens auch die M glichkeit direkt Reservierungen oder Buchungen vorzunehmen und gleich zu bezahlen Haben wir diese gravierenden Ver nderungen und Erleichterungen durch die technischen Neuerungen im Jahr 2000 vorhergesehen 4 1 Ziele und Ergebnisse der Prozessevaluation Die Umsetzung von mobilit tsbezogenen Ma nahmen ist eine zeitaufw ndige of
29. der Interessengruppen Liefert ein umfassendes ben tigt erfahrene ben tigt erfahrene ben tigt erfahrene Bild des Prozesses Moderation Moderation Interviewende M glichkeit aus den erz hlten Geschichten zu lernen Angemessener Ressourcenaufwand Legende sehr gut gut ausreichend ungen gend Tabelle 4 2 Methodenvergleich f r die Datenerhebung in der Prozessevaluation Nat rlich h ngt die Qualit t der Ergebnisse in hohem Ma davon ab wie gr ndlich die Methoden vorbereitet und durchgef hrt werden Zusammenfassend gelten die folgenden Kriterien 1 Die Methode sollte die unterschiedlichen Prozessbeteiligten erreichen damit das Ergebnis ein m glichst objektives Bild ergibt 2 Die Moderatoren m ssen neutral sein sie d rfen die Prozessbeteiligten nicht absichtlich oder unabsichtlich durch die Art der Fragen oder durch die Wahl der Methoden beeinflussen 3 Der Aufwand f r Vorbereitung Durchf hrung und Berichterstattung sollte angemessen sein Die Methode sollte bei den Beteiligten auf Akzeptanz sto en Ansonsten steigt die Gefahr des Scheiterns 4 Bei einer Prozessevaluation kann es durch das Monitoring auch zu einer Kontrolle der am Projekt beteiligten Akteure kommen Es sollte aber jederzeit im Vordergrund stehen dass es um die Verbesserung der Ma nahme oder des Projektverlaufs geht und nicht um die Bewer tung der Akteure 5 Dokumentation und Bericht Zum Abschluss der um
30. eine Stra ensperrung die Errichtung von L rmschutzw nden oder einer Reduzie rung der Geschwindigkeit erreicht werden Evalstadt m chte aber den Autoverkehr grunds tzlich reduzieren indem die Attraktivit t anderer Verkehrsmittel gesteigert wird Daher wird an besagtem Stra enabschnitt eine Fahrspur je Richtung in einen Radschutzstreifen umgewidmet Diese berlegungen sind Teil der Bedarfsanalyse an deren Ende eine Vorbewertung der m glichen Ma nahmen steht Dabei wird gepr ft was eine Ma nahme leisten kann Es werden Annahmen ber die Auswirkungen bestimmter Ma nahmen sowie zur H he der Kosten getroffen Basierend auf den Ergebnissen wird entschieden welche Ma nahme umgesetzt werden soll um das Ziel zu erreichen Diese Vorbewertung die oft auch als Ex ante Evaluation bezeichnet wird kann dabei helfen wirk same Entscheidungen zwischen unterschiedlichen Optionen zu treffen Aber dies ist keine Evaluation in dem Sinne wie wir sie in diesem Buch beschreiben es handelt sich hierbei um eine Vorhersage oder eine Simulation von dem was voraussichtlich geschehen wird Mit einer Evaluation wird dokumentiert was tats chlich passiert In diesem Buch wird davon ausgegangen dass dieser Schritt der Bedarfsanalyse bereits abge schlossen ist Im Folgenden wird daher vor allem die Wirkungsevaluation vorgestellt EX ANTE EVALUATION KEINE GUTE Ipee Nach Ex ante Evaluation beginnt die operative Gestaltung der M
31. f r Fallstudien Machbarkeitsstudien und Ideen f r Ma nahmen zur F rderung einer nachhaltigen st dtischen Mobilit t finden Sie auf verschiedenen Websites einschlie lich www civitas eu www eltis org www epomm eu www nationaler radverkehrsplan de www mobilitymanagement org Die dort vorgestellten Initiativen und Organisationen stellen sicher auch weitere Ausk nfte und Infor mationen zur Verf gung 6 Und jetzt Zur ck zur Realit t F r Evaluationen sprechen sehr viele und gute Argumente dennoch werden Evaluationen in der Praxis selten durchgef hrt Dieses Buch soll anregen und das n tige Handwerkszeug liefern mehr kommu nale verkehrliche Ma nahmen zu evaluieren In diesem abschlie enden Kapitel werden g ngige Vorurteile gegen ber Evaluationen auf ihren Wahrheitsgehalt hin untersucht und Empfehlungen zur Qualit t und G ltigkeit einer Evaluation gegeben 6 1 Einige Mythen ber Evaluation Es kursieren viele Vorurteile ber Evaluationen Die drei h ufigsten sind viel zu kompliziert zu teuer und Evaluationen dienen nur dazu das Programm oder die Verantwortlichen zu kritisieren Evaluationen sind viel zu kompliziert Eine Evaluation kann tats chlich eine sehr komplexe und langwierige Aufgabe sein und erfordert in der Planung und Durchf hrung Fachwissen und Erfahrung Eine Evaluation besteht jedoch aus vielen kleineren und gr eren Aufgaben von denen manche in vielen Kommunen ohnehin standard
32. hohe Antwortquote anzustreben denn sie bildet die Grundlage auf der die Berechnungen durchgef hrt und damit die R ckschl sse auf die Population gezogen werden Oft werden bei schriftlichen Umfragen aber nur geringere 35 R ckl ufe erreicht Schnitt zwischen 15 30 Dies ist bei der Auswahl der Brutto Stichprobe zu beachten oder alternativ durch eine Methode mit einer h heren R cklaufquote auszugleichen wie beispielsweise durch die pers nliche Befragung Es stehen eine Reihe von Online Stichprobengr enrechnern zur Verf gung siehe Kapitel 9 3 auf Seite 77 Gew nschte Segmentierung der Analyse In der Regel wird ein Datensatz hinsichtlich einzelner Fragestellungen als Ganzes ausgewertet in Bezug auf spezifische Fragen auch in Segmenten Im Beispiel zu der Funktionalit t einer neuen Online App k nnte es sinnvoll sein das Antwortverhalten nach Altersgruppen getrennt auszuwerten da ltere PKW Halter internetf hige Anwendungen even tuell weniger h ufig oder anders nutzen als j ngere Jede Altersgruppe Segment stellt dann eine eigene Population dar Werden Schlussfolgerungen aus der Analyse eines Segments gezogen muss die statistische Sicherheit auf dieses Segment bezogen sein nicht auf die Gesamtpopulation Grad der Varianz bei den Antworten der Population Die Stichprobengr e h ngt auch davon ab wie gro das Spektrum der m glichen Antworten auf die Frage ist Je gr er das Spektrum ist desto gr er muss
33. in den Abschlussbericht bernommen werden k nnen Allerdings bleibt bei dieser Methode der Umfang und die Tiefe der Informationen beschr nkt Die Nachvollziehbarkeit die bertragbarkeit auf andere Projekte sowie Erfahrungsaustausch sind also geringer als bei anderen Verfahren Storytelling und Learning History Die Methode Storytelling bzw Learning History basiert auf der Erkenntnis dass durch das m ndliche Erz hlen besonders gut Erfahrungen geteilt und weitergegeben werden k nnen Learning history meint in diesem Zusammenhang also aus der Geschichte lernen Beteiligen sich unterschiedliche Akteure an der Methode kann die gleiche Projektgeschichte aus unterschiedlichen Blickwinkeln erz hlt und damit nacherlebt werden Das regt die Reflektion enorm an und die Erkenntnisse bleiben l nger im Ged chtnis als bei den meisten anderen Methoden Storytelling wurde als Methode in den sp ten von Forschenden an einem amerikanischen Institut MIT entwickelt Am besten l sst sich Storytelling im Rahmen von Projekttreffen oder einem Workshop anwenden Alternativ kann die Methode aber auch in Form von Einzelinterviews durchgef hrt ausgewertet und zu einem Gesamtbericht zusammengef gt werden Jeder oder jede Beteiligte erz hlt nach dem gleichen Schema seine oder ihre Version der Projektereignisse Das kann der chronologische Ablauf sein sowie wichtige strategische Entscheidungen Fakten Daten Ursachen und Wirkungen R
34. m nnlich 37 weiblich 63 813 Abbildung 5 2 Beispiel f r die Darstellung der Ergebnisse durch ein Kreisdiagramm Bei der Verwendung eines Streudiagramms werden zwei Variablen gleichzeitig veranschaulicht Abb 5 3 Diese Art der Darstellung hilft dabei eine statistische Korrelation zwischen zwei Variablen also ein Zusammenhang sowie die Intensit t darzustellen Die Werte einer Variablen werden auf der horizontalen Achse auch Abszisse oder x Achse genannt die andere Variable auf der vertikalen Achse auch Ordinate oder y Achse eingetragen Jede statistische Einheit zum Beispiel jede befragte Person erh lt einen Punkt im Koordinatensystem blicherweise werden auf der x Achse die Werte eingetragen welche die beeinflussenden oder erkl renden Faktoren sind das sind die so genannten unabh ngigen Variablen Auf der y Achse werden die abh ngigen Variablen dargestellt also diejenigen die beein flusst werden Das folgende Beispiel stellt Radfahrten zur Schule pro Monat in Abh ngigkeit vom Alter der Sch lerinnen und Sch ler dar Abb 5 3 20 w 18 16 5 ei 12 A 5 10 N 8 6 45 F 804 2 8 10 12 14 16 18 20 Alter Abbildung 5 3 Beispiel f r ein Streudiagramm Entwicklungen ber einen Zeitraum hinweg k nnen anschaulich mit einem Liniendiagramm darge stellt werden Auf der horizontalen Achse werden die Zeiteinheiten und auf der vertika
35. nur wenn 69 die anderen dazu Bereitschaft signalisieren Das Etablieren einer Art kollegialer Supervision auf Augenh he zum Beispiel im Rahmen regelm iger Treffen jour fixe Stammtisch oder Video und Telefonkonferenzen kann dabei helfen die eigenen Lernerfahrungen w hrend einer Evaluation zu verstehen und zu vertiefen WIEKUNGS ANALYSE MUSS ZUGEBEN DAS IST WIRKLICH SICHER Fur DIE KINPENR ABER AHDELER SEITS Dauerhafte Speicherung der Daten sicherstellen Viele Daten und Berichte sollten rund 10 Jahre lang aufgehoben werden Bei besonders aufw ndigen und langfristigen Projekten ergibt es Sinn diese sogar noch deutlich l nger aufzubewahren Es muss also einerseits sichergestellt werden dass genug digitale Speicherkapazit t und Platz f r die Sicherung zu Verf gung steht Bei Datenerhebungen mit paper pencil Frageb gen k nnen schnell viele Ordner zusammenkommen Andererseits muss darauf geachtet werden dass die Daten gem den Datenschutzrichtlinien sicher aufbewahrt werden und der Zugriff von Unbefugten vermieden wird siehe Kapitel 9 4 auf Seite 79 Eine sorgf ltige Dokumentation dar ber wo und wie welche Daten gelagert und gespeichert sind erleichtern den sp teren Zugriff enorm ST ES DAS 5 LIR LUOLEN JA EVA WIR EIHE 5 H HE HABE EVRENE STADT F R ee AUTOS DURCH DIE MENSCHEN BUSSE ERSETZT 7 Das
36. sollte von Anfang an mitgedacht werden z B welche Wirkungen werden von der Ma nahme erwartet an Hand welcher Indikatoren kann man diese Wirkung messen und wie sie mit einem ausreichenden Budget und Ressourcen ausstatten Im Rahmen der CIVITAS Projekte wurden durchschnittlich etwa 10 der Projektmittel f r Evaluation ausgegeben Dieses Buch soll das n tige Verst ndnis vermitteln um kleinere Evaluierungsaufgaben selbst durch zuf hren aber auch um gr ere Projekte angemessen planen und begleiten zu k nnen Wenn finan ziell m glich ist eine externe Beauftragung der Evaluation an neutrale fachkundige Dritte hilfreich Eine enge Einbindung aller Projektbeteiligten ist jedoch mit zu planen und sowohl bei der Wirkungs evaluation als auch besonders bei der Prozessevaluation essentiell 8 Glossar Abbruchrate dropout rate Beschreibt die Quote von Untersuchunsgsteil nehmenden die nicht bis zum Ende der Ma nahme teilgenommen haben Bedarfsanalyse demand analysis Eine Analyse des Bedarf an bestimmten Dienst leistungen oder Verkehrsmitteln und Verbin dungen in einem bestimmten Gebiet Datenanalyse data analysis Statistische Auswertung der erhobenen Daten Dateninterpretation data interpretation In diesem Schritt wird entschieden ob die ange nommene Hypothese durch die erhobenen Daten best tigt oder abgelehnt werden k nnen Evaluationsdesign evaluation design Beschreibt detailliert wie die Evaluation aufge baut ist und
37. wenn es zu gr eren Verz gerungen kam und ein vorzeitiges Ma nahmenende drohte Durch den hohen Lerneffekt bei den Beteiligten bietet sie die Chance f r das gemeinsame Entwickeln einer L sung Wie ein solcher Workshop ablaufen k nnte wird in der folgenden Darstellung gezeigt Mindestens drei Wochen vorher Identifizierung der Teilnehmenden und einer Moderatorin eines Moderators Einladung versenden Zeitplan erstellen Raum Vorbereitung und Verpflegung buchen Material zusammenstellen ca 2 Arbeitstage Begr ung Vorstellungsrunde Vorgehen und Ziele des Workshops erl utern chritt Regeln festlegen wichtige Begriffe kl ren Widerst nde Treiber und Aktionen Vorstellung 20 Pr sentation eines groben Ablaufplans Diskussion und Erg nzung durch die Schritt 2 Ablauf erstellen Teilnehmer Diskussion der Chronologie des Projektes Erstellen der Zeitachse ca 30 60 min Schritt 3 Erstellen einer Liste der aufgetretenen Widerst nde und Hemmnisse Diskussion Widerst nde und Kategorisierung ca 45 min Schritt 4 Erstellen einer Liste der Treiber Diskussion und Kategorisierung ca 45 min Treiber Schritt 5 Erstellen einer Liste der Aktionen die als Reaktion auf ein eingetretenes hem Aktionen mendes oder beg nstigendes Ereignis folgten ca 45 min Schritt 6 Reflektierende Diskussion zu den Lernprozessen Diskussionen ca 45 min Zusammenstellen der Ergebn
38. www esurveyspro com LimeSurvey http wwwu limesurvey org NetO http www netqg umfrage de QuestionPro http www questionpro com de 5 Survey https www soscisurvey de survey monkey https de surveymonkey com Surveysystem http www surveysystem com sscalc htm Software f r die Datenauswertung Statistische Auswertung und Analyse mit Microsoft Excel Nicht zu untersch tzen ist das g ngige Tabellenkalkulationsprogramm Excel von Microsoft Hier sind viele statistische Auswertungen m glich die auch ber die deskriptive Statistik hinausgehen wie statistische Test Korrelations und Regressionsberechnungen Im Unterscheid zu den g ngigen Statis tikpakten m ssen die Berechnungsformeln in der entsprechenden Kommandozeile aufgebaut werden http www microsoft com Auch das Datenbankprogramm 55 von Microsoft ist f r die Durchf hrung einer quantitativen Analyse interessant Mit der Formularansicht kann z B ein Fragebogen f r die Dateneingabe konstru iert werden der auch m gliche Falscheingaben kontrolliert http www microsoft com Statistische Auswertung und Analyse mit IBM spss Statistics http www o1 ibm com software de analytics spss PASW Statistics fr herer Name 5 55 ist ein professionelles Datenanalyseprogramm das u im wissenschaftlichen Kontext eine gro e Verbreitung hat Es richtet sich vor allem an geschulte Anwender mit Vorkenntnissen in der Datena
39. 80 4 T 81590 512 1992 25 as jeuy 5 0110 1 410A 5 as jeuy sunzz swn ypeu Zunzj9swn 10A addn zpjalo g 2 z us saq 15 3IM Z 8 112 1811 215 2 4 ue uol 815 1 91571215 520 J yypeu 1 y410A 5 5 220 1 lt lt 19 5 5 Uopuejsawyeugew sunzpsun yDeu pun 10A 8 01107 pun pjalo d s q sep uSIsaq 28 2 5 Methoden der Datenerhebung Als Datengrundlage k nnen grunds tzlich eigene d h prim re und fremde d h sekund re Informa tionen dienen Prim rdaten werden spezifisch f r die Evaluation gesammelt ausgewertet und inter pretiert Werden f r die Evaluation bereits vorhandene Daten verwendet oder neu analysiert ist das eine Sekund rdatenanalyse Bei der Planung der Evaluation ist es zeit und kostensparend zun chst zu schauen auf welche Sekund rdaten zur ckgegriffen werden kann Das k nnen beispielsweise sein regelm ige Verkehrsz hlungen und Geschwindigkeitsmessungen Unfallsta
40. Abbildung Schritt 6 zwar zum richtigen Zeitpunkt erhoben aber deren Auswertung Ergebnisdiskussion und Interpretation Schritte 7 8 finden nicht sofort statt sondern werden auf einen sp teren Zeitpunkt verschoben Das Vorgehen erscheint auf den ersten Blick aus zeit konomischen Gr nden vertretbar Es ist jedoch empfehlenswert die oben genannte Reihenfolge strikt einzuhalten damit es m glich ist noch vor der Ma nahmenumsetzung von den Erkenntnissen zu profitieren und die Ma nahme bei Bedarf entsprechend der gewonnenen Erkennt nisse anzupassen 2 1 Ma nahmenziele Im Rahmen einer Evaluation ist oft von Zielen die Rede Dabei wird der Begriff ganz unterschiedlich verwendet worauf im Folgenden n her eingegangen wird Die kommunale Verkehrsplanung verfolgt einerseits bergeordnete Ziele so wie sie beispielsweise in einem st dtischen Leitbild zu Verkehr und Klimaschutz festgelegt sind Viele der Forderungen k nnen auf Leitlinien zur ckgehen die 1997 durch die OECD Konferenz f r verkehrspolitisches und 15 planerisches Handeln aufgestellt wurden OECD 1997 Diese Ziele haben oft einen strategischen Charakter und sind meistens dadurch gekennzeichnet dass sie einen Idealzustand beschreiben der oft nicht klar fassbar ist z B Lebenswerte St dte F rderung des Langsamverkehrs Stadt der kurzen Wege Verringerung der verkehrsbedingten Emissionen etc Im n chsten Schritt gilt es also zu den bergeordneten Zi
41. Aufstellen einer Ursache Wirkungskette hilfreich Sie verdeutlicht die Zusammenh nge zwischen den m glichen Auswirkungen sowohl positiver als auch negativer Art und den Ressourcen die f r die Umsetzung der Ma nahme ben tigt werden Das Aufstellen hilft dabei das breite Spektrum der m glichen beabsich tigten und unbeabsichtigten Auswirkungen der Ma nahme zu verstehen und die Wahl der richtigen Indikatoren zu treffen Das Ergebnis einer Ma nahme stets durch eine Vielzahl von Wirkungen entstehen die ber cksichtigt werden m ssen Oft sind die Auswirkungen auch indirekt Eine festgestellte Abnahme der Verkehrsunf lle muss nicht unbedingt durch die eingef hrte Verkehrsma nahme verursacht sein Auswirkungen und Ergebnisse sowohl verkehrsbezogen als auch dar ber hinaus und zugeordnete Kosten und Nutzen sind die Elemente der folgenden Illustration zu Ursache und Wirkung In Abbil dung 2 3 wird eine Ursache Wirkungskette f r das Beispielprojekt Einheitliche Schulumgebung vorgestellt um die denkbaren Auswirkungen auf unterschiedliche Handlungsfelder exemplarisch anzugeben Dargestellt wird auch die Richtung der Wirkungsbeziehung Fahrzeug geschwindigkeit Wahrgenommene Verkehrsfluss Schulumgebung gt Sicherheit ffentlicher Raum Einheitliche Verkehrsmittel Schulumgebung mittel Luftqualit t Einbezug Eltern L rm Entwicklung der Kinder Abb 2 3 Ursache Wirkungskette
42. Befragungen oder von Beobachtungen erhoben werden Verkehrsbezogene Daten werden meistens durch Z hlungen oder Messungen erhoben z B Fahrzeugz hlungen Geschwindigkeitsmessungen Jetzt wird schwerpunktm ig die Erhebung verhaltensbezogener Daten mit Hilfe unterschiedlicher Befragungstechniken vorgestellt In der Regel sind das schriftliche oder m ndliche Interviews mit ausgew hlten Personen auf eine mehr oder weniger strukturierte Art entweder pers nlich oder ber Telefon oder Internet Im Folgenden werden die verschiedenen Formen der Erhebungen beschrieben und einige Fragen zur Wahl der Stichprobe er rtert Ausf hrliche Einzelbefragungen Diese Methode kann in allen Arten und allen Phasen der Evaluation verwendet werden Es gibt verschiedene Arten von Befragungen die sich durch Struktur und Zweck unterscheiden die Befragung durch informelles Gespr ch die halbstrukturierte auf einem Leitfaden basierende Befragung und die strukturierte Befragung Ziel ist es berwiegend qualitative Informationen von Personen zu sammeln Qualitative Befra gungen arbeiten mit offenen Fragen die den Befragten viel Spielraum beim Antworten lassen Es werden vor allem Eindr cke und Deutungen der Interviewten als Informationen ber cksichtigt Im Gegensatz hierzu werden in quantitativen Befragungen geschlossene Fragen gestellt Damit sind Frage typen gemeint f r die es vorformulierte Antwortkategorien gibt wie Ja Nein Stufen f r den Grad ein
43. Dies kann eine effiziente Methode sein hat aber manchmal den Nachteil dass sie nur einen Teil der Situation erfassen kann Viele eventuell wichtige Rahmenbedingungen wie Beleuchtung Einsehbar keit bersichtlichkeit Ger che Bodenbeschaffenheit etc k nnen nicht ber das Videobild ber tragen werden Vor und Nachteile der Methoden zur Datenerhebung Die Auswahl einer geeigneten Methode erfordert eine sorgf ltige Pr fung vieler Faktoren Neben Fragen zu Stichprobengr e Zielgruppen Kosten der Umfrage erwartete Antwortquoten und Daten qualit t k nnen auch l nderspezifische Datenschutzbestimmungen die Entscheidung beeinflussen Dieser Abschnitt enth lt eine Zusammenfassung der g ngigen Methoden zur Datenerhebung Die pers nliche Datenerhebung liefert in der Regel die bestm gliche Abdeckung des Themas erreicht hohe Antwortquoten und liefert die beste Datenqualit t Es berrascht aber nicht dass pers n liche Befragungen auch zu den teuersten Methoden geh ren Der gr te Aufwand besteht oft darin die Zielgruppen zu erreichen und zur Teilnahme zu bewegen Aus diesem Grund werden h ufiger Telefon und Postverfahren verwendet auch wenn dies eine Kompromissl sung darstellt Bei einer Telefonbefragung werden die zu Befragenden angerufen und telefonisch interviewt Meis tens werden diese Interviews auch aufgezeichnet und sp ter ausgewertet Je nach Art und Umfang der Befragung kann die Vorbereitung wie der Kauf der Telefonnum
44. Eine zielgerichtete Evaluation dient also sowohl den Entscheidunsstr gern als auch der Gesellschaft KASTEN 1 Warum Misserfolg auch wichtig ist Um ein definiertes Ziel zu erreichen ist ein gewisses Ma an Arbeit erforderlich Erfolge machen bewusst was bereits geschafft wurde Sie k nnen dazu beitragen dass wir zuversichtlicher und mit gesteigertem Engagement an neue Aufgaben herangehen Wir neigen aber auch dazu uns nach Erfol auszuruhen Und nicht immer bedeutet ein Teil JErfolg dass tats chlich alles gut ist Misserfolge und bislang unerreichte Ziele k nnen auch motivierende Effekte haben Sie erh hen die Bereitschaft sich einzusetzen vor allem dann wenn die Erreichung des Ziels eine pers nliche Wichtigkeit hat und wenn Misserfolge auf beeinflussbare Aspekte einer Situation zur ckgef hrt werden Nur wenn sie als Zeichen f r mangelnde eigene F higkeiten gewertet werden kann dies die Motivation hemmen und Gef hle von Unzufriedenheit verst rken In jedem Fall kann die bewusste Auseinandersetzung mit unerreichten Zielen und mit Misserfolgen einen Lernprozess ansto en Nach Scholl A 2011 Motiviert durch Erfolg und Misserfolg wissens blitz WAS EVALUATION NICHT 157 FALSCH GEHAUHT Eine Evaluation sollte niemals mit dem Ziel durchgef hrt werden Menschen zu kontrollieren oder Sanktionen vorzubereiten z B die R ckzahlung von F rdergeldern Ein solcher Schwerpunkt w rd
45. Es handelt sich um einen Vergleich des wahrgenommenen Sitzkomforts vor und nach einer durchgef hrten Ma nahme Der Unterschied in den Diagrammen geht nur auf die Wahl der Skala zur ck Im Beispiel links startet die y Achse nicht bei Null sondern erst bei 3 7 und die Abst nde zwischen den Werten sind deutlich kleiner als auf der rechten Seite Dadurch entsteht der Eindruck dass im Projekt links ein gr erer Zuwachs stattgefunden h tte Sitzkomfort Sitzkomfort 3 95 5 0 3 90 4 0 n 3 85 3 0 3 80 2 0 3 75 1 0 3 70 0 0 Abbildung 5 6 Darstellung einer y Achsen Verschiebung Bei der Verwendung von Balken oder S ulendiagrammen werden manchmal auch durch Voreinstel lungen in den Standardprogrammen 3 D Darstellungen verwendet Sie sind fast immer schwerer zu lesen als zweidimensionale Grafiken Jede neue Perspektive f hrt zu einem anderen Eindruck Eine hohe S ule scheint von weit oben gesehen eher flach w hrend eine kurze S ule von unten gesehen schon recht gro aussehen kann siehe Abbildung 5 7 Die Daten sind nur schlecht ablesbar und kaum vergleichbar im 501 200 Tage pro 2 4 Tage pro pro 1 3 Tage _e Sun 4 t t Abbildung 5 7 3D Grafik Darstellung eines Histogramms 5 3 bertragbarkeit Erfolgreiche Projekte sollen Andere zum Nachahmen anregen Aber w
46. GEN 7 gt 1 m u 1 Einf hrung Die meisten europ ischen St dte setzen sich aktiv f r eine nachhaltige Entwicklung ein Insbesondere Ma nahmen rund um die Mobilit t haben einen hohen Stellenwert bei der Entwicklung lebenswerterer St dte In den vergangenen zehn Jahren fanden in diesem Sektor gewaltige Ver nderungsprozesse statt In fast allen Metropolen haben sich die Rahmenbedingungen f r den so genannten Langsamver kehr deutlich verbessert Zu Fu gehen und Rad fahren ist auch in gro en St dten wie Paris London und Berlin nicht nur m glich sondern kann Spa machen Car Sharing innovativer ffentlicher Personennahverkehr und E Mobility erweitern das Spektrum der Fortbewegungsm glichkeiten Begeg nungszonen oder so genannte shared spaces machen den Menschen neue Angebote f r gemeinsam genutzte Fl chen Mobilit t ist vielf ltiger geworden in den Metropolen wie auch in vielen kleinen und gr eren St dten Aber wurde und wird das Ziel der Nachhaltigkeit erreicht Sind die St dte und Kommunen auf dem richtigen Weg Diese Frage kann nur mit Hilfe von Evaluationen beantwortet werden Das Handbuch zeigt daher konkrete Wege auf wie auch Kommunen mit kleinem Budget gr ndliche Evaluationen planen und durchf hren k nnen Es soll dazu beitragen Beteiligte Rahmenbedingungen und Einflussfaktoren kennen zu lernen Planungsprozesse zu optimieren Schwerpunkte zu setzen und fundierte Entschei
47. Ma nahme beeinflusst werden k nnten Solche Ma nahmen sind geb ndelte Ma nahmen mit sogenannten geb ndelten Indikatoren siehe Kasten 3 22 Kasten 3 Geb ndelte Indikatoren Wenn Sie mehrere Ma nahmen in Ihrem Projekt haben und Sie ihre Ursache Wirkungsketten verglei chen m chten Sie vielleicht eine oder mehrere Indikatoren w hlen die f r mehr als eine Ma nahme sinnvoll und anwendbar sind Die Wirkung die durch diese Messgr e festgestellt werden k nnte auch durch andere Ma nahmen beeinflusst worden sein als Ergebnis der kombinierten Wirkung von zwei oder mehr Ma nahmen Dabei handelt es sich um ma nahmen bergreifende und nicht um ma nahmenspezifische Indikatoren Idealerweise sollten die Indikatoren f r eine Ma nahme nicht nur aus geb ndelten Indikatoren bestehen Dies w rde es unm glich machen eine klare Aussage ber den Erfolg oder Misserfolg dieser speziellen Ma nahme zu treffen da die Wirkung immer auch einer anderen Ma nahme zugeschrieben werden k nnte Viele andere Eingriffe innerhalb Ihrer Ma nahmenkombination oder durch externe Einfl sse k nnen eine Messgr e beeinflussen z B die Ma nahme an sich siehe Referenz Szenario Kapi tel 2 4 auf Seite 23 Nat rlich k nnen nicht alle Einfl sse ber cksichtigt und gemessen werden aber die wichtigsten sollten in der Interpretation der Ergebnisse angesprochen werden 2 4 Untersuchungsdesigns Im Untersuchungsdesign oder Erhebung
48. Programm ist ber Men f hrung oder eine Syntaxprogrammie rung bedienbar http www stata com Software f r qualitative Datenauswertung Atlas Ti ist eine der g ngigsten Softwarel sungen f r die qualitative Datenauswertung Die Software wurde von Thomas Muhr an der TU Berlin entwickelt und ist aus dem Ansatz der Grounded Theory entstanden Auswertung von Bild und Filmmaterial ist mit dieser Software ebenfalls m glich http www atlasti com de index html MAXODA wurde von Udo Kuckartz an der Philipps Universit t Marburg entwickelt und ist aus dem Ansatz der qualitativen Inhaltsanalyse nach Mayring entstanden Auswertung von Bild und Filmmate ist mit dieser Software ebenfalls m glich http www maxgqda de 9 4 Datenschutz Der Kontakt zu Datenschutzbeauftragten der Kommunen oder auch Betrieben sollte bei einer durch zuf hrenden Evaluation immer gesucht werden Die Datenschutzbeauftragten k nnen die geplanten qualitativen oder quantitativen Erhebungen hinsichtlich datenschutzrechtlicher Kriterien berpr fen Evaluatoren sind immer auf der sicheren Seite wenn von dieser Stelle ein datenschutzrechtliches Unbedenklich attestiert wird Ein Orientierungspunkt f r die Verwahrung und Sicherung von Prim rdaten sollte die Brosch re der Deutschen Forschungsgemeinschaft sein die in ihrer Empfehlung n tzliche Anweisungen beschreibt http www dfg de download pdf dfg_im_profil reden_stellungnahmen download empfehlung_wi
49. Testmethode wird dieser Parameter t U Chi Quadrat usw genannt Testentscheidung Die ermittelte berschreitungswahrscheinlichkeit wird mit dem definierten Signifikanzniveau vergli chen Haben wir ein signifikantes Ergebnis d h ist der Testparameter kleiner 5 wird die Nullhypo these zugunsten der Alternativhypothese abgelehnt Interpretation Zum Schluss erfolgt die Dateninterpretation Dabei ist es sehr wichtig keine bereilten Schl sse zu ziehen und ber das Ziel hinaus zu schie en Eine Dateninterpretation erfordert hohes Verantwor tungsbewusstsein und Fingerspitzengef hl 3 3 Qualitative Datenanalyse Die Analyse und Interpretation von qualitativen Daten die beispielsweise als aufgezeichnete Einzel und Fokusgruppeninterviews Fotos Videoaufnahmen oder ver ffentlichte Artikel vorliegen erfor dert ein anderes Know how als der Umgang mit Zahlen und H ufigkeiten aus Umfragedaten Daher erl utert dieses Kapitel die wichtigen Grundlagen f r die Verarbeitung qualitativer Daten Ziel ist es in den Daten systematische Muster zu entdecken und diese zu erkl ren Hilfreich f r diese Auswertung k nnen auch so genannte Metadaten beispielsweise Notizen ber den Kontext von Interviews Datum Ort Besonderheiten der Befragungssituation erste Ideen f r die Analyse usw und relevante Informa tionen ber die Interviewpartner biografische Daten usw sein Transkription und Exzerpt der aufgezeichneten Daten Bevor mit der Ausw
50. Weg stellen Neben wirtschaftlichen oder sozialen Faktoren k nnen es auch etwa organisatorische strukturelle politische oder kulturelle Aspekte sein Treiber sind dagegen die Ereignisse oder Bedingungen die den Prozess beim Erreichen der Ziele der Ma nahme unterst tzen F r eine gr ndliche Prozessevaluation kann es hilfreich sein alle vermuteten f rdernden und hemmenden Einfl sse in einer Tabelle aufzulisten und diese gegeneinander abzuw gen siehe Tabelle 4 1 Es kann dabei durchaus vorkommen dass der gleiche Einflussfaktor sowohl eine f rdernde als auch eine hemmende Wirkung zeigt Beispiele f r Widerst nde Beispiele f r Treiber Bereich Politisch strategisch Institutionell Kulturell Engagement Kommunikation Planung Organisatorisch Finanziell Technisch Konflikte zwischen politischen Interes sengruppen aufgrund unterschiedlicher Einsch tzungen bez glich Problemen und deren L sungen Opposition wich tiger Akteure aufgrund politischer und oder strategischer Motive fehlende Leitbilder f r eine nachhaltige Mobilit t Komplexe Verwaltungsstrukturen Verfah ren und Routinen behindernde Gesetze Regeln Vorschriften und deren Anwen dung hierarchische Strukturen von Organisationen und Programmen viele unterschiedliche Ansprechpartner und Verantwortliche Kulturelle Gegebenheiten und Lebens stile mangelndes Verst ndnis oder Toleranz wenig Erfahrung mit partizipati ven Proz
51. a nahme Zu diesem Zeitpunkt wird auch die Evaluation geplant Dazu geh ren auch die Bestimmung des Zwecks der Evaluation der verf gbaren Ressourcen und die Festlegung eines entsprechenden Evaluationsdesigns Dies beinhaltet in jedem Fall die Bestimmung der Indikatoren und der Datengrundlage an der die Ver nderungen durch die Ma nahme gemessen werden k nnen Die Qualit t der Datengrundlage legt dabei auch die Qualit t der Datenauswertung fest Bevor die Ma nahme implementiert wird sollte auch schon eine Vorerhebung durchgef hrt werden Diese Daten dienen dazu die Situation vor der Einf hrung zu beschreiben und sind Grundlage f r den sp teren Vergleich Anschlie end kann die Ma nahme gestartet werden deren Fortschritt wird meist von einem Monitoring begleitet Dies ist wichtig um die laufende Umsetzung der Ma nahme zu verfolgen und zu bewerten H ufig sind die daf r ben tigten Daten auch f r die Evaluation hilfreich oder umgekehrt Die abschlie ende Wirkungsevaluation erfolgt nach Beendigung der Ma nahme um zu beurteilen wie gut die beabsichtigten Ziele erreicht wurden Schlie lich wird der Arbeitszyklus durch die Ver f fentlichung der Ergebnisse und Erkenntnisse abgeschlossen Gerade bei l ngerfristigen Ma nahmen ist das Bewerten und Lernen ber den ganzen Ma nahmen zyklus notwendig Daher findet die Evaluation nicht einmal oder zweimal statt sondern ist regelm Biger Bestandteil bei der Umsetzung der Ma nahme
52. ach der Umsetzung der Ma nahme verglichen Um aussagekr ftige Auswertungsergebnisse zu erhalten m ssen Daten f r das gesamte Indikatorenset vorliegen Au erdem sollte ein ausreichend gro er Datensatz vorliegen um die zu erwartenden Ver nderungen statistisch auswerten zu k nnen wenn dies sinnvoll und m glich ist Im Beispiel Schulumgebung in Evalstadt m ssen daher f r jeden der Standorte an denen die einheitliche Schulumgebungen umgesetzt werden bereits im Vorfeld Daten zur Sicherheitswahr nehmung der Eltern den tats chlichen Unf llen und die Verkehrsmittelwahl der Schulkinder erhoben werden Wichtig hierbei ist dass diese Vorherdaten auch f r den Kontrollstandort erhoben werden Idealerweise werden an Kontrollstandorten also da wo die Situation ganz vergleichbar ist aber keine Ma nahmen durchgef hrt werden die gleichen Arten von Daten zum gleichen Zeitpunkt wie am Ma nahmenstandort erfasst Aus dem Kontrollstandort ergibt sich das so genannte Referenzszenario also die Entwicklung der Indikatoren ohne Ma nahme Abb 2 6 Ein solches Szenario kann aber neben dem Vergleich einer Kontroll oder Vergleichsgruppe oder eines Kontroll bzw Vergleichstand orts auch mit Hilfe von historischen Daten oder einer Modellierung aufgestellt werden Kasten 4 Wozu dienen Kontroll oder Vergleichsgruppen Neben den im Projekt durchgef hrten Ma nahmen k nnen viele weitere Faktoren das Erleben und Ver halten der Menschen beein
53. ahmenplanung und umsetzung untersucht Treiber und Widerst nde Daten die ein empirisches Ph nomen beschrei ben oder charakterisieren oft in schriftlicher oder audio visueller Form sie erm glichen das Verstehen von Verhalten und Zusammenh ngen basierend auf subjektiver Interpretation Daten die ein empirisches Ph nomen numerisch definieren sie erm glichen das Verstehen von Verhalten und Zusammenh ngen basierend auf objektiver Interpretation Design bei dem die Versuchspersonen nicht per Zufall sondern nach bestehenden Merkmalen z B Wohnort der Experimental oder der Ver gleichsgruppe zugeordnet werden Die zuf llige Zuordnung der Versuchspersonen zur Experimental bzw Kontrollgruppe Hypothetischer Vergleichsfall in dem so weiter gemacht wird wie bisher Daten die w hrend der Evaluation nicht selbst er hoben werden sondern aus anderen Erhebungen oder Quellen vorliegen Zuordnungsvorschrift bei der Objektivierung einer abgestuften Bewertung die Zuordnung von Zahlen zu Objekten oder Ereignissen m ssen strukturtreue Abbildungen sein Ma f r die Streuung von Daten in der deskrip tiven Statistik eine Methode um Abweichungen vom Durchschnitt zu messen und zu vergleichen Ein offenes oder teil strukturiertes Interview wel ches durch die Art der Fragen auch bislang nicht bewusstes Wissen Erfahrungen oder Erleben zu erfassen versucht Die Kombination verschiedener Methoden um eine
54. ation eine sinnvolle Aufgabe ist Es kann nicht projektspezifische Richtlinien erset zen Es zeigt dass die Evaluation von jedem gelernt Bietet keine Leitschnur f r eine komplette Pro werden kann srammevaluation Es illustriert mit Beispielen alle Phasen des Evalua Es gibt keine ausreichende Grundlage zur Evaluie tionsprozesses rung komplexer Infrastrukturprojekte Es legt den Schwerpunkt auf kleinere kommunale Es kann nicht das eigene Denken ersetzen Projekte Tabelle 1 1 Was dieses Buch kann 13 14 Dieses Handbuch ist nicht darauf ausgelegt Seite f r Seite gelesen zu werden Es ist vielmehr ein Leitfaden der bei Bedarf als Referenz verwendet werden kann Daher werden wichtige Punkte in verschiedenen Abschnitten wiederholt Es arbeitet mit Fallstudien Checklisten und Verweisen zu anderen methodischen Ans tzen Online Dokumenten sowie weiterf hrenden Informationsquellen Eine gute Evaluation ist eine komplexe Aufgabe die aus Sicht der Autorinnen und Autoren aber allen m glich ist die bereit sind ein wenig Zeit und Anstrengung zu investieren und sich in einen offenen Dialog mit allen Beteiligten zu begeben der Mehrwert lohnt sich 2 Wirkungsevaluation Mit Hilfe einer Wirkungsevaluation werden die messbaren Auswirkungen also die Effekte einer Ma nahme bewertet Eine Ma nahme kann dabei auch eine Intervention ein Projekt oder eine Kommunikationskampasgne darstellen Typische Fragestellungen im Bereich von Mobilit t und
55. ationen f r diese Kategorie vorhanden sind Die Codierung ist somit Bestandteil der Analyse des Materials und spiegelt den Denkprozess wider Tiefe und Genauigkeit der Codierung sind immer abh ngig von Zweck und Tiefe der Interviews Im Folgenden werden Anregungen f r die Bildung von Kategorien gegeben Ausgearbeitete oder angewendete Strategien um ein Ziel zu erreichen Bedeutungen Interpretation und Relevanz von Ph nomenen und Freignissen Einfluss der Handlungen der Befragten Beziehungen oder Interaktionen zwischen Menschen oder Institutionen Ereignisse die zeigen was und wie etwas passierte Handlungen und Verhaltensweisen die das repr sentieren was gesagt oder getan wurde Handlungen die mit einem bestimmten Hintergrund vorgenommen wurden auch mit anderen beteiligten Personen Vergleich und Verallgemeinerung Im n chsten Schritt werden die Antworten oder F lle miteinander verglichen und wieder in Beziehung zu den Evaluationsfragen gesetzt Auf der Ebene des Einzelfalls Einzelbefragung kann gepr ft werden ob die Antworten eines Interviewten ber die gesamte Befragung hinweg konsistent bleiben Innerhalb einer Kategorie k nnen Vergleiche z B zur Varianz des Themas angestellt werden Und der Vergleich zwischen den Interviews zeigt z B unterschiedliche Handlungsalternativen oder subjektive Wahrnehmungen auf Auch hier lohnt es sich bei der Arbeit laufend kleine Notizen zu Interpretationen zu machen und diese mit den N
56. auch die Stichprobe sein und umgekehrt Bei den meisten Befragungen ist im Vorfeld wenig dar ber bekannt wie gro diese Varianz ist daher sollte die Stichprobengr e besser h her ange setzt werden Fehlertoleranz Da nur selten die komplette Grundgesamtheit befragt wird im Beispiel alle Kraft fahrzeughalter in Evalstadt k nnen die durch eine Stichprobe ermittelten Werte immer nur N he rungen sein Es gibt also eine Abweichung vom tats chlichen Wert Wie gro diese Abweichung sein darf d h wie gro dieser so genannte Fehler ist kann festgelegt werden In aller Regel liegt er zwischen 5 und 10 Je gr er die Investitionsentscheidung oder je bedeutender die Auswirkungen einer Ma nahme ist desto niedriger wird die Fehlertoleranz sein Der anerkannte Standard f r die statistische Sicherheit das so genannte Konfidenzintervall liegt zwischen 90 und 95 Kasten 8 Wie viele sind genug Als grobe Faustregel gilt dass 200 Antworten f r die meisten Annahmen und Parameter eines Umfrage projekts eine recht gute Genauigkeit der Umfrage ergeben au er bei der Analyse innerhalb einzelner Segmente F r eine gerade noch akzeptable Genauigkeit werden rund 100 Antworten ben tigt Die oft als ausreichend angenommene Gr e von 30 Antworten bieten nur dann eine annehmbare Genauigkeit wenn es sich um entweder eine sehr kleine Population handelt das Spektrum der m gli chen Antworten sehr gering ist oder es zun chst nur um eine s
57. blauf einer Evaluation Im Laufe von Projekten ergeben sich immer wieder Situationen die eine Evaluation im Ablauf st ren oder sogar gef hrden Im Folgenden sollen die wichtigsten kurz skizziert werden Die Rahmenbedingungen f r das Projekt ver ndern sich Auf einmal ist die Finanzierung unsicher die politischen Akteure setzen auf andere strategische Schwerpunkte oder Leitbilder die gesellschaftliche Akzeptanz schwindet die Notwendigkeit der Ma nahme nimmt ab die rechtlichen Rahmenbedingungen ndern sich Projekte sind praktisch t glich mit Ver nderungen der Rahmenbedingungen konfrontiert Manche k ndigen sich l nger an manche kommen ganz unerwartet Dies kann auch gro e Auswirkungen auf den Designplan der Evaluation haben Muss die Ma nahme beispielsweise stark ver ndert werden kann es passieren dass die Daten der Vorher Messung keinen Bezug mehr zu der neuen Ma nahme 68 haben einem solchen Fall kann versucht werden andere Vergleichsdaten hinzuzuziehen jedem Fall sollten diese Ver nderungen im Bericht dokumentiert werden Das Projekt verz gert sich Ob durch die Ver nderungen der Rahmenbedingungen oder aufgrund anderer Entwicklungen Projektphasen und damit die Evaluationen sind immer in Gefahr deutlich l nger zu laufen als urspr nglich geplant Manchmal werden dann einzelne Phasen verk rzt zum Beispiel die Testphase um den Gesamtzeitplan einhalten zu k nnen Die Ergebnisse der Wirkungsevaluat
58. chleuten kann f r die Bereitstel lung n tzlicher Informationen f r das Evaluationsteam und beim Ableiten von verallgemeinerbaren Erkenntnissen aus der Evaluationsstudie sehr hilfreich sein 1 6 Weshalb gibt es dieses Buch Der Verkehr in Europa ist f r nahezu ein Viertel der aktuellen energiebezogenen Treibhausgas Emis sionen verantwortlich wobei Autofahrten mehr als drei Viertel aller gefahrenen Fahrzeugkilometer ausmachen Viele St dte planen daher Ma nahmen die beispielsweise zu einer verminderten Kfz Nut zung f hren und dadurch die negativen Auswirkungen des Verkehrs verringern sollen Der Anlass f r das englische Buch Evaluation matters was die Grundlage f r das vorliegende Buch darstellte war die Feststellung dass europaweit die Anzahl und Qualit t von Evaluationen erh ht werden k nnte Insgesamt gibt es bislang nur wenige Evaluationen im Bereich Mobilit t Zus tzlich werden die Ergebnisse h ufig so ver ffentlicht dass lediglich Wissenschaftlerinnen und Wissenschaftler darauf zugreifen k nnen sie kommen also in der Praxis nicht in dem Ma e an wie es w nschenswert w re Bei vielen Berichten f llt weiter auf dass die Wirksamkeit der berpr ften Ma nahmen eher schwach ausf llt Daf r gibt es verschiedene Gr nde Manchmal wurden die Evaluationsmethoden nicht so gew hlt dass sie zufriedenstellende Ergebnisse liefern k nnen Hier fehlt es an fachlichem Know how 12 In einigen F llen scheint ein
59. ckschl ge und Erfolge Lernerfahrungen pers nliche auch emotionale Bewertungen mit einbeziehen Die Erz h lung kann begleitend visualisiert werden z B mit Fotos Bildern oder mit Hilfe der Metaplantechnik So entsteht ein mehrdimensionales Bild der Gesamtsituation 570 64 2 gt Se 2 gt gt 2 _____ 4 27272255 Te et RT u REN DEREN Der 2 220049 EEE RD SL 57 2 x EEE NUT a u FEB EIERN VARTA I gt Ta 0500 LOL 525255 9505 5 5256565 55 969 979 0 0162 lt 747 60 ER 49 0 EX 22 x gt SEA en TR Se ANA X gt PEN ws 4 5 2 v 74 a 53 2 a 55 55 4 cc 299 x A vv 5 5 ER 6 Ns 44 79 SR FL 2 4 244 2 DER 7 DAAD 2 ELCH gt gt Storytelling kann im Projektverlauf mehrfach eingesetzt werden Die Methode eignet sich insbeson dere zur Reflektion kritischer Situationen beispielsweise
60. crosoft Access die genau wie der verwendete Fragebogen aussieht Bei Verwendung einer Eingabe maske k nnen auch nicht plausible Eingaben z B Alter 200 durch entsprechende Fehlerpr fungen verhindert werden F r sehr umfangreiche Frageb gen oder bei gro en Stichproben ist die Program mierung einer Eingabemaske sehr empfehlenswert Eine Eingabemaske kann auch automatische Filter enthalten welche die dateneingebende Person je nach Antwort durch verschiedene Abschnitte eines Fragebogens f hrt Zu beachten sind der zus tzliche Zeitaufwand f r die Programmierung der Eingabe maske sowie die Anschaffungskosten f r die Hard und Software Eine andere M glichkeit der automatisierten Dateneingabe ergibt sich durch Scanner mit entspre chender Software Diese Methode spart ebenfalls viel Zeit Sie ist sinnvoll bei einer hohen Zahl von F llen bei denen die Frageb gen nur wenige Seiten haben Die Frageb gen m ssen aber ordnunsgs gem und sehr zuverl ssig ausgef llt werden Sitzen die Kreuze der Antworten nicht exakt am rich tigen Punkt oder sind zu schwach kann es Probleme beim Scanvorgang geben dann erh ht sich der Aufwand f r die manuelle Nachbearbeitung In diesem Fall muss die Dateneingabe letztendlich einzeln erfolgen Ein weiterer Nachteil ist dass der Entwurf des Fragebogens systemkompatibel zur Scanner software sein muss Dadurch werden die Gestaltungsm glichkeiten durch die Software beschr nkt und die entstandenen Frageb gen
61. d Ma nahmen Berichte und Evaluationen zu thematischen Schwerpunkten zusammengefasst und ver ffentlicht http civitas eu mobility solutions page http civitas eu civinet civinet german Die Schwerpunkte stellen erprobte Beispiele f r den ffentlichen Nahverkehr die Sicherheit die B rgerbeteiligung den Lieferverkehr und die Frachtlogistik das Mobilit tsmanagement sowie f r viele weitere Themen vor Der Erfolg einer bestimmten Ma nahme kann auch mit den Auswirkungen einer anderen Ma nahme in Zusammenhang stehen Ma nahmenpakete f hren oft zu Synergien mit sich gegenseitig verst rkenden Wirkungen Aus einer allgemeinen Sicht kann festgestellt werden dass die wichtigsten Unterschiede bei der bertragbarkeit von einer der Ursprungsstadt auf die andere Kommune der Zielstadt auf zwei wesentlichen Ebenen stattfinden Das ist zum Einen die Ebene der lokalen Politik und der Verwaltung und die dort zu treffenden Entscheidungen und auf der anderen Ebene die ffentliche Wahrnehmung Bewertung oder auch Akzeptanz An einer Ma nahmen bertragung sind immer zwei Akteure beteiligt die Ursprungsstadt und die Zielstadt Demzufolge gibt es auch zwei Blickwinkel aus denen man das Thema bertragbarkeit betrachten kann Aus der Perspektive der Ursprungsstadt Aus der Perspektive der potenziellen Zielstadt Dementsprechend sind auch die Verantwortlichkeiten aufgeteilt Die Ursprungsstadt liefert ihre Evalu ierungsergebnisse un
62. d idealerweise noch ein paar Zusatzinformationen ber die Rahmenbedingungen unter denen die Ma nahme durchgef hrt wurde Diese dienen als Input f r die ex ante Evaluierung der Zielstadt die die Sinnhaftigkeit einer bertragung einsch tzen muss Aufgaben der Ursprungsstadt Damit sich andere St dte von erfolgreichen Ma nahmen inspirieren lassen k nnen geben wir f r den Projekt Bericht einige Empfehlungen 1 Beschreiben Sie den Erfolg der Ma nahme in Ihrer Stadt am besten durch eine Wirkungsevaluation Eine Voraussetzung f r eine m gliche bertragung ist dass die Ma nahme bereits einmal mit Erfolg umgesetzt wurde Was erfolgreich war l sst sich am besten mit einer durchgef hrten und gut doku mentierten Wirkungsevaluation darstellen 2 Beschreiben Sie detailliert die Besonderheiten Ihrer Stadt Wenn in Evalstadt der Anteil der Radfahrten auch deshalb so hoch ist weil es innerorts praktisch keine Steigungen gibt und dort zudem sehr viele Studierende wohnen so sind dies wichtige Information Eine genaue Identifizierung der Besonderheiten der Stadt und ihrer Strukturen ist sehr hilfreich f r die Beurteilung ob eine Ma nahme auch in einer anderen Stadt funktionieren kann Die Abbildung 5 8 zeigt einige relevante Aspekte die bei der Beschreibung beachtet werden sollten 66 Topographie Kultur Rechtssystem Bebaute Umgebung konomie Politischer Rahmen Nat rliche Umgebung Demographie Soziale Muster Durchsetzungs
63. daten Umweltdaten Kfz Bestandsdaten Verkehrsdaten und Verhaltensdaten 10 1 Einwohner und Besch ftigungsdaten Demographische Daten auf Bundes oder L nderebene bieten das Statistische Bundesamt http www destatis de und die Statistischen Landes mter Auch die Einwohnermelde mter erheben entspre chende Informationen Der Deutsche St dtetag ver ffentlicht seit 1890 j hrlich das Statistische Jahrbuch Deutscher Gemeinden http www staedtetag de dst inter publikationen statistikjahrbuch index html Informationen zu Besch ftigtenstatistiken den Berufen und den Arbeitsmarkt liefern die Statistiken der Bundesagentur f r Arbeit http www statistik arbeitsagentur de sowie das Institut f r Arbeits markt und Berufsforschung http www iab de Viele St dte und Gemeinden f hren dar ber hinaus eigene Statistiken in dem Themenfeld 10 2 Umweltdaten Luftschadstoffe Allgemeine Informationen zu Luftschadstoffen aus dem Luftmessnetz gibt es auf der Seite des Umwelt bundesamtes Dort finden sich auch Links zu den Informationsseiten der einzelnen Bundesl nder http www umweltbundesamt de themen luft messenbeobachtenueberwachen luftmessnetze der bundeslaender Das Umweltbundesamt stellt auch eine bersichtskarte zu den Luftqualit tsdaten bereit Es ist m glich nach Tag und Schadstoff auszuw hlen und f r jede einzelne Station Dateien mit den Mess werten runterzuladen http www umweltbundesa
64. der mit dem Rad zur ckzulegen Sch lerinnen und h here Verantwortung geringere Abh ngigkeit von den Eltern Sch ler k nnten annehmen dass sich Autofahrer auch au erhalb der Schulumgebung r cksichtsvoll verhalten Lehrerinnen und Wahrnehmuns einer sicheren Schulumgebung Lehrer h here Verantwortung f r Mobilit tserziehung berdenken ihre Autonutzung Eltern haben weniger Kontrolle dar ber ob Kinder wohlbehalten zur Schule und zur ck kommen Unsicherheit Sorge Imagesteigerung bei erfolgreicher Umsetzung Verwaltung Finanzierung der Ma nahmen erh hte Aufmerksamkeit gegen ber Sch lerinnen und Sch lern und Zufu gehen Autofahrerinnen den und Autofahrer gesteigerte Wahrnehmung von Schulumgebungen geringeres Unfallrisiko Verunsicherung wegen ungewohnten und neuen Markierungen und Zeichen geringeres Unfallrisiko f r sich und besonders f r Kinder Nachbarn regulierter langsamer Verkehr bessere Luftqualit t bessere Lebensqualit t Abbildung 2 5 Wirkungen auf Interessengruppen Beispiel Schulumgebung 20 Das Aufstellen einer solchen systematischen bersicht ber alle von der Ma nahme betrof fenen Gruppen sowie das Zuordnen von m glichen positiven und negativen Effekten hilft dabei die erw nschten Wirkungen und die unerw nschten Nebenwirkungen auf der Ebene der Menschen in ihrer Rolle als Verursacher Betroffene oder Handelnde besser abzusch tzen Die Me
65. des Radweges k nnen ebenso negative oder auch positive Effekte zeigen In der medizinischen und psychologischen Forschung versucht man 26 diese Effekte durch Studien mit eineiigen Zwillingen zu minimieren oder zu kontrollieren Im Alltag der Verkehrsplanung gibt es keine Zwillinge aber f r die Auswahl von Vergleichsstandorten gilt es m glichst gro e hnlichkeiten zu finden und die wesentlichen Unterschiede kritisch im Blick zu behalten KON TRoOLLGLRUPPE WIR HABEN MABNAHMEN GEGEN wife HATTEN NIEMALS MENSCHEN FRESSENDE KANINCHEN PReBCEME MIT UNTERNOMMEN UND SIEHE OA ee Det ES HAT GELIRICT Untersuchungsdesigns ohne Vergleichsgruppen Kann keine Kontroll oder Vergleichsgruppe ermittelt oder nur durch hohe Kosten in eine Evalua tion eingebunden werden sind auch Vorher Nachher Vergleiche und Panel Designs zul ssig In solchen F llen k nnen aber keine Referenzszenarien sondern nur die Bruttowirkungen bestimmt werden Bei einem Panel Design wird die gleiche Stichprobe von Teilnehmenden mindestens zweimal befragt oder in ihrem Verhalten beobachtet Werden die gleichen Personen das Panel zweimal befragt sind sie hinsichtlich aller Merkmale vergleichbar Allerdings muss das Panel sehr sorgf ltig geplant werden es sollte Personen aller relevanten Zielgruppen in ausreichender Anzahl einschlie en Bei der gew hlten Anzahl sollte von vornherein ber cksichtigt werden dass Personen ihre Teilnahme
66. die Evaluation die Informationsquelle ber das Projekt seine Vorbereitung Umsetzung und seine Ergebnisse Verwalter der Ma nahme Das ist die Gruppe von Experten und Expertinnen zu deren Aufgaben die Verwaltung der verschiedensten Aspekte des Projekts geh ren Durch die Ergebnisse der Evalua tion erhalten sie Informationen ber die Auswirkungen ihrer Arbeit ber positive Einfl sse und Schwierigkeiten Umsetzer Das sind die Menschen die die Ma nahme zu einem tats chlichen Erfolg machen k nnen Sie k nnen die Auswirkungen ihrer Arbeit in einem gr eren Zusammenhang sehen und fest stellen wie sie zur allgemeinen Verbesserung der Lebensqualit t in ihrer Stadt beitr gt Zielgruppen der Ma nahme Das sind die potenziellen Nutznie er oder Tr ger einer Ma nahme Diese Gruppe kann durch die Ergebnisse der Evaluation sehen was sie vom Projekt erwarten k nnen im Vorfeld und was im Rahmen des Projekts getan wurde nach der Umsetzung Sonstige Interessengruppen Das sind alle anderen die nicht Teil der vorstehend genannten Gruppen sind Auch ihnen sollten die Ergebnisse der Evaluation zur Verf gung gestellt werden Trans parenz verbessert die Akzeptanz einer Ma nahme Fachpersonal d h Personen mit technischen und oder methodischen Kenntnissen sowie alle Personen die bei der Definition der Fragen zur Evaluation oder bei der Interpretation der Evaluati onsergebnisse helfen k nnen Die Beteiligung von unabh ngigen Fa
67. dlich gewichtet z B ob sie Chancen oder Risiken bergen Wie schnell konnte reagiert werden Gab es Zeitr ume in denen viel und andere in denen nichts oder wenig passiert ist Welchen Einfluss hatte das auf die Motivation der Beteiligten und auf den Erfolg der Ma nahme Das Abfragen von Widerst nden und Treibern kann entweder in einer offenen Diskussion erfolgen oder aber auch durch die sogenannte Kartenabfrage Die Teilnehmenden werden dabei gebeten auf Haftnotizzetteln oder Moderationskarten knapp ihre Beitr ge aufzuschreiben Diese k nnen an Moderationsw nden gesammelt gruppiert gewichtet und diskutiert werden Der Prozess des durch die Moderatoren angeleiteten Sammelns der Strukturierung und der Diskussion wird bei den Teil nehmenden dazu f hren dass sie die einzelnen Aspekte aus unterschiedlichen Blickwinkeln und als Gesamtbild wahrnehmen k nnen Widerst nde Treiber Aktionen werden auf Haftkarten notiert und auf einer Tafel platziert Widerst nde Treiber Aktionen werden in Cluster gruppiert jedem Cluster wird ein Titel gegeben Cluster A ce Cluster B Cluster Abbildung 4 3 Beispiel f r eine Kartenabfrage Teilnehmende gewichten die Cluster durch das Aufkleben von Punkten Ba Cluster A Cluster Cluster Die umgesetzten Aktionen im Projekt k nnen ebenfalls auf die Weise gesammelt und disku tiert werden Eventuell ergibt es aber mehr Sinn diese m
68. e Eltern nicht der Umsetzung interessiert op der Eitern 3 oder zumindest nicht dawon berzeugt dass ihre Beteiligung dem Projekt wichtig ist also wie Ich TI Teinar asiha dir das geh rt habe Andere Sachen zu tun keine Zeit vielleicht wissen sie was Ich meine wenn sie eigene Kinder Bedenken zum Label 2 ten haben Suinteressiert 1 Ta Keine zeit N A Wie hat sich denn das Interesse wihrend des ganzen ver ndert 0 5 Hat sich da was ver ndert F r einige vielleicht schon als die Schilder angebracht wurden lacht Andere Workshop sind dann aber zu den Eltern Workshops gekommen kurz vor der Umsetzung als eine nachhaltigere der Organisation des Heimweges diskutiert wurde Wiele Eltern haben mich aber auch nebenbei mal Femton angesprochen und ihre positive Einstellung gegen ber dem Projekt ge u ert aber eben auch ihre Bedenken Bedenken zum Label ge u ert Verarsche Y A Welche Vorteile aber auch welche Nachteile wurden den ge u ert Vorbeie Abbildung 3 3 Visualisierung der Codierung einer transkribierten Befragung Die Software bietet Unterst tzung bei der Auswertung aber nur f r diejenigen die auf strukturierte Art und Weise vorgehen Die Auswertung sollte durch Notizen gut dokumentiert sein jeder Schritt der Analyse muss auch sp ter gut nachvollziehbarsein Um d
69. e Evaluation von den Verantwortlichen nicht gew nscht sie mit einer berpr fung oder Monitoring verwechselt wird Als Resultat werden h ufig Schwie rigkeiten gar nicht oder nur unzureichend beschrieben Das Potenzial zum Lernen aus diesen Evaluationen ist also sehr gering In anderen F llen wird die Evaluation grunds tzlich gew nscht aber begrenzte Ressourcen k nnen zu Ergebnissen mit geringem Wert f hren oder die Evaluation behindern Insgesamt ist auff llig dass in vielen F llen der Nutzen aber auch die Komplexit t einer Evaluation deutlich untersch tzt wird Dieses Buch soll dabei helfen genau das zu ndern KANN ICH ALSO SCHREIBEN DER EVALUATIONS de WIRD SINNVOLL GENUTZT Das Buch entstand auf der Grundlage der Erfahrungen in den beiden Forschungsprojekten CIVITAS MIMOSA und CIVITAS POINTER in deren Rahmen die Europ ische Kommission integrierte Strategien f r einen nachhaltigen st dtischen Verkehr in den St dten Bologna Funchal Gdansk Tallinn und Utrecht sowie die Evaluierung aller Ma nahmen in den beteiligten St dte in CIVITAS PLUS 2008 2013 gef r dert hat In beiden Projekten wurde deutlich dass es europaweit nicht genug Evaluationsliteratur gibt die speziell auf den Kontext der urbanen Mobilit t zugeschnitten ist Die vielen positiven Reaktionen auf die englische Fassung welche 2013 erschien best tigten diese Einsch tzung Was dieses Buch kann nicht kann Es zeigt dass Evalu
70. e Projektteams bei der Planung und Durchf hrung von Evaluation kommunaler verkehrlicher Ma nahmen weit ber das CIVITAS Programm der EU hinaus Das Umweltbundesamt m chte dieses Wissen jetzt auch der deutschsprachigen in Angriff genommen Der Anspruch war es neben deutschen Quellen f r Daten und Kontakte auch gute praxisnahe Beispiele zu finden die f r die anschauliche Darstellung der Evaluationsschritte geeignet sind Leider mussten wir die intensive Suche in Bezug auf geeignete Beispiele nach einiger Zeit erfolglos einstellen Zum Einen gibt es auch in Deutschland bislang zu selten Evaluationen und zum Anderen waren die gefundenen Beispiele oft nicht auf andere vor allem auch mittlere und kleinere Kommunen bertragbar Daher haben wir als Autorenteam eine fiktive Beispielstadt namens Evalstadt erschaffen und auf diese Art perfekte Evaluations beispiele erzeugt Wir hoffen dass dieses Handbuch Ihnen das n tige Handwerkszeug liefert um gute Evaluationen innerhalb Ihrer kommunalen Ma nahmen durchf hren zu Gutes Gelingen Katrin Dziekan f r die Autorinnen und Autoren WIR WOLLEN DASS UNSERE STADT EIN SCH NER ORT WAS STEHT ZWISCHEN UNS 2014 www aukeherrema nl UND UNSEREM ZIELT WAS SOLLEN WIR ALS Tun WIR HABEN EIN PROBLEM SAUBERER Lutt F R RADFAHRER UND B UMEN UND TURG NGER MEHR FFERTLICHE VERKEHRSMITTEL ICH GLAUBE ETWAS IST SCHIEF III GEGAN
71. e die grundlegenden Ziele der Evaluation gef hrden und letztendlich die Einf hrung innovativer Ma nahmen blockieren 1 4 Wie l uft eine Evaluation ab Wann wird evaluiert Idealerweise wird eine Evaluation kontinuierlich den gesamten Umsetzungsprozess begleiten l uft also parallel zu Planung Umsetzung und Betrieb der Ma nahme Die nachfolgende Abbildung zeigt einen berblick ber die m glichen Phasen und die wichtigsten T tigkeiten Operative Gestaltungder Detailplanung Wirkung analyse evaluation Ma nahme Vorher Zwischen Zwischen Daten bericht bericht Datenerhebung und management Kontinuierliche Reflektion und Lernen Abbildung 1 1 Phasen der Evaluation 9 10 Zu Beginn eines Planungsprozesses steht eine Bedarfsanalyse Diese baut auf den identifizierten Problemfeldern auf die h ufig bereits aus einem bestehenden Leitbild abgeleitet wurden oder durch die Verkehrs Umwelt Politik vorgegeben sind In diesem Schritt wird der Bedarf beschrieben und berlegt was zur Verbesserung der Situation getan werden kann Dies f hrt dann zu einer Auswahl von Ma nahmen die geeignet sein k nnten den Bedarf zu decken bzw das gew nschte Ziel zu erreichen H ufig gibt es mehr als eine Ma nahme zur Auswahl aber die finanziellen Mittel sind beschr nkt und es muss abgewogen werden In Evalstadt soll an einem Stra enabschnitt der Verkehrsl rm reduziert werden Dies k nnte unter anderem durch
72. ehr ungenaue Einsch tzung geht Letztendlich lassen sich keine allgemeing ltige Aussagen ber den Umfang einer Stichprobe treffen F r die Evaluation eines sehr wenig streuenden Merkmals kann ein relativ kleiner Stichproben umfang ausreichen Ist die Variation eines Merkmals sehr gro muss ein gr erer Stichprobenumfang realisiert werden Wenn es um Differenzen von zwei Gruppen geht k nnen schon kleine Stichproben umf nge ausreichen Sind jedoch die Unterschiede in den Kennwerte der zu vergleichenden Gruppen gering braucht es wiederum gr ere Stichproben Ausgehend von dem Evaluationsziel bzw der Forschungsfrage und der Recherche ber die Grundge samtheit und den Ergebnissen von Pretests muss abgewogen werden welcher Stichprobenumfang ausreichend ist Auch k nnen Stichprobenumf nge gesenkt werden wenn eine ad quate geschichtete Stichprobe z B nach soziodemographischen Merkmalen vorgenommen werden ZIELGRUPPE UND ZUNERLASSIGICEIT 00 SAGTEH ALSO WIE VIELE HABEN SIE PEHH BEFRAGT ICH MIcH SELBST BEFRAGT Grundlegende Anregungen f r die Durchf hrung einer Umfrage Folgende Ratschl ge helfen bei der Planung einer Umfrage Sammeln Sie nur relevante Daten Vermeiden Sie das Erheben berfl ssiger Informationen Dies treibt nicht nur den Aufwand der Auswertung in die H he sondern kann auch einen gro en Einfluss auf das Antwortverhalten haben Im schlimmsten Fall riskieren Sie
73. ektplanung entsprechend angepasst werden kann Auch hier hilft eine nachvollziehbare Dokumentation die Kommunikation nach au en entscheidend zu verbessern Dies sind die st rksten Argumente f r eine Prozessevaluation Auch nachdem die ersten H rden und Hemmnisse berwunden wurden und das Projekt wieder wie geplant l uft und nachdem positive Ereignisse ausgewertet wurden sollte die Prozessevaluation weitergef hrt werden Einerseits ist es motivierend f r alle Beteiligten von den Erfolgen zu h ren und f r ihre Arbeit gelobt zu werden andererseits k nnen jederzeit wieder neue Hindernisse oder Treiber auftreten die bew ltigt werden m ssen oder die nutzbar gemacht werden k nnen 4 3 Methoden der Datenerhebung Die Methoden f r eine Prozessevaluation m ssen vielf ltigen Anforderungen gewachsen sein Sie sind entwickelnd beschreibend kontinuierlich flexibel und induktiv Sie sollten m glichst in allen Phasen der Prozessevaluation einsetzbar sein Zur Planung der entsprechenden Methoden sollte schon beglei tend zur Ma nahmenplanung ein Zeitplan f r die Prozessevaluation erstellt werden Nicht nur die H ufigkeit auch die Intensit t Art und Umfang der Datenerfassung h ngen hohem Ma e von der Verf gbarkeit von Personal und finanziellen Ressourcen ab Die Evaluationsplanung sollte diese Wirtschaftlichkeits und Efizienzaspekte genau wie bei einer Projektplanung ber cksich tigen und die verf gbaren Methoden wohl berle
74. elen konkrete und ma nahmenspezifi sche Teilziele zu definieren Diese sollten mit Hilfe von einzelnen Ma nahmen erreichbar sein Ob das Ziel erreicht wurde sollte sich jeweils mit Hilfe von Indikatoren m glichst zuverl ssig und eindeutig messen oder beschreiben lassen Die Auswahl der realistischen und messbaren Zielgr en ist nicht immer einfach und sollte daher sorgsam abgewogen werden In Evalstadt gelten die bergeordneten Ziele F rderung des Langsamverkehrs und Stadt der kurzen Wege Daher werden u a als Mafnahme an einer vierspurigen Hauptstra e in der Orts mitte zus tzliche Querungshilfen f r Fu verkehr und Radverkehr in Form einer Bedarfsampel mit Zebrastreifen angelegt Als Messgr en gelten a die Anzahl der Personen die die Stra e in diesem Abschnitt queren sowie b die Wartezeit vor dem Queren Der Vergleich der Daten vor und nach dem Anlegen der Querungshilfe zeigt den Effekt der Ma nahme An diesem Beispiel kann auch verdeutlicht werden dass eine gemessene Wirkung nicht nur auf die Ma nahme zur ckzuf hren ist sondern dass es oft weitere Einflussgr en gibt Jahreszeitliche und wetterbedingte Effekte haben wie der Wochentag die Uhrzeit Feiertage oder Ferien oft einen gro en Einfluss auf das Verkehrsverhalten Vorher und Nachher Messung m ssen daher unter m glichst hnlichen Bedingungen stattfinden Oft ist es im Rahmen von kommunaler Verkehrsplanung blich gleichzeitig mehrere Ma nahmen umzuset
75. en Entwicklung von der Analyse ausgeschlossen Aus dem gleichen Grund wird auch der Verkehrsfluss nicht evaluiert Die vereinfachte Ursache Wirkungskette ist in der n chsten Abbildung Abbildung 2 4 zu sehen Fahrzeug geschwindigkeit Wahrgenommene Sicherheit Einheitliche Verkehrsmittel Schulumgebung ip gt mittel Abb 2 4 Kondensierte Ursache Wirkungskette f r das Beispiel Einheitliche Schulumgebung Schulumgebung Einbezug Eltern Damit konzentriert sich die eigentliche Evaluation auf die Geschwindigkeit der Fahrzeuge in der Schulumgebung die wahrgenommene Sicherheit der Kinder und die Verkehrsmittelwahl F r jedes Ziel sollte mindestens eine Auswirkung formuliert werden Die Indikatoren m ssen passend zu den Zielen ausgew hlt werden siehe Kapitel 2 3 auf Seite 21 Wenn die Ursache Wirkungskette darauf hinweist dass die Ziele schwer oder gar nicht zu erreichen sind k nnen die Ziele an dieser Stelle noch einmal korrigiert werden Eine zweite Methode f r die Absch tzung der Wirkung ist die Zielgruppenanalyse Um die Bezie hung zwischen Ursache und Wirkung abzusch tzen wird eine Liste aller relevanten Personen oder Gruppen aufgestellt F r jede der Gruppen werden Vor und Nachteile Kosten und Nutzen sowie erwar tete negative und positive Auswirkungen beschrieben siehe Abbildung 2 5 weniger Unf lle verringertes Unfallrisiko h here Sicherheit werden ermutigt die Schulwege zu Fu o
76. en die Diskussionsteilnehmenden einen direkten oder pers nlichen Bezug haben oder gar negativ Betroffene der Ma nahme sind kann es passieren dass diese in der Fokus gruppe vor allem bereits bekannte Argumente austauschen und sich die Diskussion schnell im Kreis dreht oder hitzig wird Sie also keine neuen Informationen sammeln k nnen Befragen Sie die Gruppen getrennt voneinander werden sich die Teilnehmenden vermutlich anders verhalten offener sprechen die Fragestellung kreativer von mehreren Seiten durchdenken Daher ist die Fokusgruppe eine gute Evaluierungs und auch Planungstechnik f r alle innovativen Pilotma nahmen Beobachtungstechniken Bei einer Beobachtung werden Menschen w hrend ihres tats chlichen Verhaltens betrachtet Die geschulten Beobachterinnen und Beobachter sind entweder sichtbar oder nicht sichtbar f r die Beob achteten Stellen Sie sich die Haltestelle einer S Bahn vor Wie verhalten sich Menschen auf dem Bahn steig Wie viele sind alleine wie viele in Gruppen unterwegs Welchen Abstand halten sie zu W nden oder Objekten Wie schnell gehen sie Warten sie in Gruppen in einer Schlange oder halten sie dabei einen m glichst gro en Abstand zu anderen Stehen sie alle in einem Abschnitt oder verteilen sie sich ber das gesamte Gleis Sind sie beim Ein und Aussteigen eher diszipliniert oder eher chaotisch Was passiert wenn es anf ngt zu regnen Die direkte Beobachtung hat den Vorteil dass der gesamte Kontext er
77. en wurden auch im Projekt Schulumgebung in Evalstadt angewendet Die Evalua toren und Evaluatorinnen trafen sich f r 30 45 Minuten mit verschiedenen Lehrkr ften aus den teilnehmenden Schulen und f hrten eine teilstrukturierte Befragung durch Alle Gespr che wurden aufgezeichnet und sp ter transkribiert Die anschlie ende Textanalyse zeigte dass die Eltern die nicht von Anfang an eingebunden worden waren auch sp ter schwer erreicht werden konnten Au erdem zeigte die Analyse dass das Programm dort erfolgreicher war wo die beteiligten Lehr kr fte oder die Schulleitung w hrend des laufenden Programmes nicht gewechselt hatten Beide Erkenntnisse wurden erst durch die Befragung und den Vergleich zwischen den Schulen deutlich Im Vergleich zu anderen Methoden ist der Aufwand f r die Vorbereitung die Durchf hrung die Dateneingabe durch Abschrift der Interviews und die Auswertung mit Hilfe einer strukturierten Inhalts analyse h her Das wirkt sich meistens auch auf die Kosten aus Ein ebenfalls nicht zu untersch t zender Effekt ist ein m glicher Einfluss der Interviewerperson auf die Befragten Diese Forschungs methode ist nicht f r die Durchf hrung mit vielen Interviewpartnern geeignet Sie ist jedoch sinnvoll bei allen Ma nahmen die sich mit sehr innovativen oder komplexen Fragestellungen befassen f r die wenige oder keine Sekund rdaten vorliegen und f r die wenige Erfahrungswerte aus hnlichen Ma nahmen vorliegen Weitere Infor
78. er Treiber Was ist geschehen Wie kam es dazu Welche Auswirkungen hat dies auf den Prozess der Ma nahmen Kurze und klare Beschreibung der wichtigsten Aktionen die ergriffen wurden die Aktionen Treiber zu nutzen oder die Prozesswiderst nde zu berwinden Risiko Absch tzung des Risikos zur Erreichung der Ziele Kurze und klare Beschreibung der anderen relevanten Informationen um den Sonstiges Ma nahmenprozess zu erkl ren au ergew hnliche Bedingungen Methoden etc Abbildung 4 1 Schema eines standardisierten Formulars Das Kernst ck des Formulars sollte jedoch die Dokumentation der Widerst nde und Treiber des Prozesses sowie die daraus abgeleiteten Aktivit ten sein Es ist sicher auch hilfreich dem Formular erg nzende Tabellen mit Kategorien f r Treiber und Widerst nde wie in Kapitel 4 2 vorgestellt beizulegen Gibt es viele Widerst nde oder Treiber k nnen diese auch noch subjektiv oder objektiv bewertet und oder in eine Rangreihenfolge gebracht werden Handelt es sich um ein l ngeres oder umfangreiches Projekt sollten auf diese Weise alle m glichen Teilschritte oder Ma nahmen dokumen tiert werden Idealerweise findet die Bewertung nicht nur r ckblickend sondern zu mehreren Zeit punkten des Projekts auch vorausschauend statt Die Beurteilung eines Projektes durch standardisierte Formulare ist eine einfache und effektive Methode Au erdem ergibt sich der Nebeneffekt dass diese Zusammenstellungen einfach
79. er Zustimmung oder Ablehnung oder die Auswahl von verschiedenen Aussagen Qualitative bzw quantitative Informationen k nnen au erordentlich vielf ltig sein sie reichen von spontanen u erungen bis zur wohl berlegten Beurteilung Rangreihenfolge Pr ferenz Meinung Stimmunsgsbilder Werte Faktenwissen Handlungswissen Berichte ber vergangene Handlungen und zuk nftige Verhaltensabsichten Auch die zu befragenden Personengruppen k nnen sich deutlich hinsichtlich ihrer Perspektive und m glichen Antworten unterscheiden Sind die Personen von der Ma nahme betroffen z B als Anwohner bei der Einf hrung einer neuen Parkraumbewirtschaftung oder profitieren sie davon z B als G ste eines Veranstaltungshauses von der neuen Stra enbahnanbindung Sind sie an der Planung und Umsetzung der Ma nahme beteiligt z B als Angestellte der Verwaltung oder des Bauunterneh mens Sind sie Vertreterinnen und Vertreter der ffentlichkeit wie Journalisten Politiker Verbrauch erorganisationen In jedem Fall werden alle Personen oder Gruppen ihre jeweils eigenen Sichtweisen und Kompetenzen in das Projekt einbringen k nnen Als Faustregel kann gelten dass die Fragen umso offener gestellt werden sollten je weniger ber die unterschiedlichen Perspektiven im Vorfeld bekannt ist Nur so haben die Befragten die M glichkeit in ihren eigenen Worten ihr Erleben oder Verhalten zu schildern und damit das Projekt um neue Sichtweisen zu bereichern Einzelbefragung
80. ereit Nicht zuletzt liefert die Prozessevaluation auch wichtige Ergebnisse ber den Erfolg einer Ma nahme Wenn es beispielsweise darum geht ob das Projekt in einer anderen Stadt umgesetzt werden soll ist es schlie lich nicht nur wichtig zu wissen welche Auswirkungen vom 49 Projekt erwartet werden k nnen sondern auch wie der Prozess abl uft um das Ziel zu erreichen und welche Bedingungen f r eine erfolgreiche Durchf hrung gegeben sein m ssen AUS ERFAHRLNG LERNEN i ar AR I 412 4 2 Widerst nde und Treiber Die Prozessevaluation sucht nach Einfl ssen die das Projekt oder die Ma nahme entweder f rdern oder behindern Im Folgenden soll dabei insbesondere auf die an der Ma nahme beteiligten Personen eingegangen werden Deren Unterst tzung Teilnahme Arbeitsweisen Erfahrungen Wahrnehmungen und Einsch tzungen aber auch deren Kritik Sorgen ngste Unwillen Ablehnung oder Tatenlosigkeit haben einen gro en Einfluss auf ein Projekt und dessen Verlauf Es kann daher f r ein Projekt oder eine Ma nahme sehr wichtig sein bereits im Vorfeld Haltungen unterschiedlicher Personengruppen zu analysieren und in Bezug auf deren Wirkung auf das Projekt abzusch tzen Als Widerst nde oder H rden f r den Prozess k nnen sich alle Ereignisse oder Konstellationen erweisen die sich dem Prozess beim Erreichen der Ziele der Ma nahme in den
81. ern und Vorbildern aktive B rgerschaften Eigeninitiative Sprechen einer gemein samen Sprache Offenheit und Toleranz Konstruktive und offene Beteiligung von wichtigen politischen Interessen gruppen konstruktive und offene Mitsprache Engagement lebhaftes Beteiligungsverhalten Pressefreiheit Vorhandensein verschiedener Kommuni kationskan le Kompetenz und Erfahrung bei den Planern pr zise technische Planung und Analyse zur Feststellung der Anforde rungen solide Wirtschaftsplanung und Marktanalyse sorgf ltige Bedarfsanaly se und gutes Verst ndnis der Anforderun sen der Nutzerinnen und Nutzer Konstruktive Partnerschaftsverein barungen starke und klare F hrung hoch motivierte Beteiligte der Ma nah me als Lokalmatadoren enge und ver trauensvolle Zusammenarbeit zwischen den beteiligten Verwaltungsabteilungen und Partnern Verf gbarkeit von ffentlichen Geldern und Subventionen Bereitschaft der Wirt schaft sich finanziell zu beteiligen Neues Potenzial durch Technologien neue Technologien verf gbar Nutzer freundlichkeit Die in Tabelle 4 genannten Kategorien sind nat rlich nicht vollst ndig es gibt noch viele weitere F r jedes Projekt sollten deshalb nicht nur diese vorgegebenen Bereiche untersucht werden sondern in einem weiteren Schritt m glichst knapp aber pr zise und auch f r Au enstehende nachvoll ziehbar weitere Details die eine Auswirkung auf den Prozess haben beschriebe
82. erreichen Und passt es zu den allge Informationen ber hnliche Projekte in anderen St dten meinen Zielen k nnen angemessene Zielgr en festgelegt werden In einem geringen Umfang k nnen Ziele auch im Laufe der Ma nahme starke Ver nderungen der Projektbedingungen angepasst wer den Dies sollte jedoch immer auf transparente Art und Weise begr ndet und kommuniziert werden Termingerecht In welchem Zeitrah Innerhalb der Laufzeit des Programms zielt die Stadt auf eine men soll das Ziel erreicht werden Verringerung des Anteils an Autofahrten auf der Strecke Zuhau se Schule von zirka 5 zugunsten von Rad fahren oder zu Fu gehen ab Damit ist der Zeitrahmen klar Das Ergebnis kann je nach Zeitpunkt der Messung nach der Umsetzung variieren Abbildung 2 2 SMART Dimensionen von Zielen 2 2 Ursache und Wirkung F llt das Gewicht auf den Fu wenn das Seil losgelassen wird Der erste Blick auf die Karikatur legt dies nahe Aber ist das Seil mit dem Gewicht verbunden oder sind es zwei unterschiedliche Seile In diesem Abschnitt werden zwei Methoden vorgestellt um den vermuteten Zusammenhang zwischen Ursache und Wirkung abzusch tzen Die erste ist die Ursache Wirkungskette und die zweite eine Variante der Zielgruppenanalyse URSACHE UND WIRMONG Um alle relevanten Beziehungen zwischen den konkreten Zielen und den m glichen Wirkungen Leistung Ergebnis Auswirkung siehe Kapitel 2 1 auf Seite 15 zu erkennen ist das
83. erschiedene M g lichkeiten Mittelwerte zu berechnen Beschreibt die Anteile verschiedener Verkehrs mittel am gesamten Verkehrsaufkommen in einem bestimmten Gebiet oder f r einen bestimmten Weg berbegriff f r alle Arten der Erfassung oder berwachung eines Vorgangs oder Prozesses mit Hilfe geeigneter Beobachtungssysteme Eine feststehende Gruppe von Personen die ber mehrere Befragungen hinweg an einer Evaluation oder Studie beteiligt werden Design bei dem dieselbe Personengruppe Stich probe zu unterschiedlichen Zeitpunkten befragt oder untersucht wird So lassen sich sowohl Ver nderungen zwischen den verschiedenen Ver suchspersonen als auch innerhalb der gleichen Versuchspersonen feststellen Population Grundgesamtheit Prim rdaten Prozessevaluation Qualitative Daten Quantitative Daten Quasi experimentell Randomisieren Referenzsituation Sekund rdaten Skala Standardabweichung Tiefeninterview Triangulation target population primary data process evaluation qualitative data quantitative data quasi experimental randomisation reference secondary data Scale standard deviation in depth interview triangulation Definition einer Menge von Personen f r die die Aussagen gelten sollen Werden unmittelbar erhoben z B durch einen eigens entwickelten Fragebogen Beurteilt kontinuierlich und begleitend den Ablauf der Ma n
84. ertung und Analyse der qualitativen Daten begonnen werden kann m ssen diese in eine einheitliche schriftliche Form gebracht werden Diese bertragung kann entweder detailliert Wort f r Wort erfolgen Transkription oder durch Zusammenfassen der wesentlichen Inhalte in Stichworten Exzerpt Eine vollst ndige Transkription ist sehr zeitaufw ndig daher lohnt ggf das Hinzuziehen von spezialisierten Dienstleistern So kann die Transkription von einem einst ndigen aufgezeichneten Interview leicht die vier oder f nffache Zeit dauern Ein Transkript ist dann sinnvoll und n tzlich wenn die angesprochenen Themen sehr neu oder komplex sind und eine detaillierte Analyse notwendig ist Es wird h ufig bei biografischen Interviews verwendet In der Regel werden w hrend einer Evaluation keine berm ig gro e Anzahl solcher Interviews durchgef hrt Beim Exzerpt wird der Inhalt des Interviews bei der Datenerhebung zusammengefasst Damit kann die Analyse jedoch nicht mehr scharf von der Interpretation getrennt werden Dies ist auch der Fall wenn bereits w hrend des Interviews nur Stichworte notiert werden Ein Exzerpt ist dann angemessen wenn das Interview gut strukturiert war die Antworten zu den besprochenen Themen pr zise und klar waren und wenn berwiegend allgemeine Schlussfolgerungen gezogen werden sollen Bei beiden Methoden sollte darauf geachtet werden die Daten hinreichend zu anonymisieren dass also Namen oder andere personen oder ortsb
85. es sei denn es sind offensichtliche Fehler Wird etwas anderes als die Antwort im Fragebogen eingegeben muss dies dokumentiert werden z B auf dem Fragebogen oder besser in einer Kommentarspalte im Datenblatt Fehlen viele Antworten oder wurden die Antworten nicht ernsthaft gegeben sollte der Fragebogen bei der sp teren Analyse und Interpretation gar nicht ber cksichtigt werden Bei der Dateneingabe k nnen Fehler auftreten Insbesondere die manuelle Dateneingabe in Tabellenkalkulationssoftware ist h ufig fehleranf llig Es k nnen Tippfehler vorkommen oder es wird versehentlich ein nicht dokumentierter Code eingegeben d h eine Nummer die nicht im Codeplan angegeben ist Aufgrund der Fehlerm glichkeiten bei der Dateneingabe sollte vor dem Auswerten eine Kontrolle auf Vollst ndigkeit und Ausrei erwerte stattfinden Eine einfache Kreuztabelle f r den ersten ber blick kann sehr hilfreich sein Ein f nf Jahre altes Kind mit F hrerschein oder 10 000 gefahrene Kilo meter pro Woche sind nicht plausibel Wenn die Daten solche offensichtlich fehlerhafte Informationen enthalten muss dies erneut durch Vergleich von Fragebogen und elektronischem Datensatz gepr ft werden Im besten Fall kann der Fehler korrigiert werden im schlechtesten Fall muss der Datensatz aus der weiteren Analyse ausgeschlossen werden Auch solche F lle sind f r die sp tere Diskussion der Daten entsprechend zu dokumentieren DATEN SICHERUNG HALLO LIR HABEN
86. essen Unzureichende Beteiligung oder Sensibi lisierung von wichtigen politischen Inte ressengruppen unzureichende Beratung Beteiligung oder mangelndes Bewusst sein von B rgern oder Nutzerinnen Unzureichende technische Planung und Analyse zur Feststellung der Anforderungen bei der Umsetzung der Ma nahme unzureichende Ressourcen planung und Marktanalyse begrenztes Verst ndnis der Anforderungen der Nutzerinnen und Nutzer Unklare Organisationsstrukturen und Verantwortlichkeiten mangelndes Zeitmanagement fehlende oder unzurei chende Partnerschaftsvereinbarungen mangelnde F hrung fehlende individu elle Motivation oder fehlendes Know how von wichtigen Beteiligten der Ma nahme Zu gro e Abh ngigkeit von ffentlichen Geldern und Subventionen mangelnde Bereitschaft der Wirtschaft sich finan ziell zu beteiligen Zus tzliche technische Anforderungen Technologie noch nicht verf gbar tech nische Probleme Tabelle 4 1 Beispiele f r Widerst nde und Treiber Engagement wichtiger Akteure aufgrund politischer und oder strategischer Motive breite Akzeptanz der Leitbilder f r eine nachhaltige Mobilit t hohe Kompromissbereitschaft der beteiligten Akteure Effiziente Verwaltungsstrukturen Verfah ren und Routinen erleichternde Gesetze Regeln Vorschriften klare Verantwort lichkeiten Kompetenz und Erfahrung bei den Verantwortlichen Kulturelle Gegebenheiten und Lebens stile Vorhandensein von Trendsett
87. etet ber die Internetseite werden sehr viele Publikati onen zur Verf gung gestellt CIVITAS http civitas eu mobility solutions page In europ ischen cCIVITAS Projekten wurden Berichte und Evaluationen von Beispielen kommunaler verkehrlicher Ma nahmen zu thematischen Schwerpunkten zusammengefasst und ver ffentlicht Die Schwerpunkte stellen erprobte Beispiele f r den ffentlichen Nahverkehr die Sicherheit die B rgerbe teiligung den Lieferverkehr und die Frachtlogistik das Mobilit tsmanagement sowie f r viele weitere Themen vor European Commission 2008 EVALSED The resource for the evaluation of socioeconomic develop ment http ec europa eu regional_policy sources docgener evaluation guide guide_evalsed pdf 76 Evalsed besteht aus zwei Teilbereichen THE GUIDE will besonders politische Entscheidungstr ger bei der Beauftragung und Interpretation von Evaluationsstudien unterst tzen The SOURCEBOOK gibt prak tische Tipps f r die Durchf hrung von Evaluationen Forum Qualitative Sozialforschung http www qualitative research net index php fgs index Fachartikel aus dem Methodenspektrum der qualitativen und quantitativen Forschung in Deutsch Englisch und Spanisch IFRC Monitoring and Evaluation web page 2011 http www ifrc org MandE Auf den Seiten der International Federation of Red Cross and Red Crescent Moon IFRc finden sich ein guter Einsteigerleitfaden zu den Themen Monitoring und Evaluation sow
88. ezogenen Informationen mit einem Code versehen werden Wie schon beim Fragebogen sollte eine ID Nummer vergeben werden Bei Audiodateien lohnt es sich auch entsprechende Notizen zur Position auf der Aufnahme z B Datum und Uhrzeit oder Bandabschnitt zu machen damit sp ter z B ausgew hlte Zitate leichter wieder auffindbar sind Codierung der Texte Bei der Analyse qualitativer Daten sollen Muster erkannt werden Damit dies gelingt gibt es zun chst zwei M glichkeiten Auswertungskategorien daf r zu entwickeln Im ersten Fall wird das Kategori ensystem anhand der Daten entwickelt im zweiten Fall wird dieses schon vor der Datenerhebung festgelegt Letzteres funktioniert immer dann gut wenn die Thematik schon im Vorfeld hinreichend bekannt ist Ein Kategoriensystem muss m glichst eindeutig beschrieben werden Jede Kategorie wird definiert und mit Beispielen unterlegt Wenn n tig werden Abgrenzungen zu anderen Kategorien gemacht Diese Codierung kann manuell ber Tabellenkalkulationssoftware wie beispielsweise Excel oder Word Tabellen oder mit professioneller Software f r qualitative Daten beispielsweise ATLAS ti NVIVO oder MAXQDA erfolgen Ziel ist es die Organisation der Textdaten zu erleichtern und die weitere Daten analyse und interpretation vorzubereiten Ein Beispiel f r ein Kategoriensystem einen sogenannten Codebaum wird in der Abbildung 3 3 auf der linken Seite dargestellt Auf der rechten Seite sieht man dass einze
89. f hrlich allerdings setzt es mathema tische Vorkenntnisse voraus und f r die Evaluation ist nur ein kleiner Teilbereich interessant DULLER CHRISTINE 2007 Einf hrung in die Statistik mit EXCEL und 5 55 Ein anwendungsorien tiertes Lehr und Arbeitsbuch 2 berarbeitete Auflage Heidelberg Physica Das Buch bietet eine leicht verst ndliche Einf hrung in die beschreibende und schlie ende Statistik Die Methoden der Statistik werden in EXCEL und 5 55 umgesetzt Zahlreiche Beispiele sind mit voll st ndigem L sungsweg angef hrt Weitere bungsbeispiele mit L sungen erg nzen die Darstellung daher ist dieses Buch auch gut zum Selbststudium geeignet Lediglich die gezeigte spss Version ist etwas veraltet HELLFERICH CORNELIA 2011 Die Qualit t qualitativer Daten Manual f r die Durchf hrung qualita tiver Interviews Wiesbaden Verlag f r Sozialwissenschaften Der Band ist ein praktisches Lehrbuch f r die Konstruktion von qualitativen Leitfadeninterviews Es gibt konkrete Hilfestellung zu den einzelnen Schritten der Leitfadenkonstruktion und schl gt pragma tische Wege zur Durchf hrung vor Musterformulare und briefe auch zum Datenschutz runden das Werk ab JANSSEN J RGEN LAATZ WILFRIED 2013 Statistische Datenanalyse spss Eine anwendungsori entierte Einf hrung in das Basissystem und das Modul Exakte Tests 8 Auflage Berlin Springer Der Titel ist Programm das Buch bietet eine gute anwendungsbezogene Ei
90. f r das Beispiel Einheitliche Schulumgebung Im Folgenden werden m gliche Ursachen und deren Wirkungen vorgestellt Die Einbeziehung von Mobilit tsbildung in den Lehrplan der Schulen k nnte Auswirkungen auf die Verkehrsmittelwahl haben da m glicherweise mehr Eltern ihren Kindern erlauben mit dem Fahrrad oder zu Fu zur Schule zu kommen Dies f hrt zu mehr Sicherheit und einer entsprechenden Wahrnehmung sowie zu Ver nderungen beim Verkehrsfluss der Nutzung des ffentlichen Raums der Luftqualit t und der Gesundheit der Kinder Die bessere Gesundheit k nnte auch durch eine ver nderte Einbeziehung der Eltern gef rdert worden sein Im Programm werden Eltern auch dazu ermutigt ihren Kindern beizu bringen selbst ndig verantwortungsvoll zu handeln was deren pers nliche Entwicklung unterst tzt Neben den erwarteten positiven Auswirkungen sollten im Rahmen eines Wirkungsmodells auch m gliche negative Folgen bedacht werden Eine Neuordnung von Verkehrszeichen und Fahrbahnmar kierungen in der Schulumgebung bringt eventuell nicht nur die gew nschte Entwicklung sondern k nnte auch dazu f hren dass Schulkinder im Stra enverkehr insgesamt weniger aufmerksam sind L rmpegel Luftqualit t die Nutzung des ffentlichen Raums sowie die Gesundheit der Kinder sind das Ergebnis zahlreicher Faktoren Beispielsweise k nnten Schulen mit einem sportlichen Schwerpunkt bereits ges ndere Sch ler haben Aus diesem Grund wurden diese Faktoren und der
91. fe d rfen nicht als Evaluation missverstanden werden Die Unterschiede sind subtil aber dennoch wichtig Pr fung oder Controlling meint die berpr fung der Einhaltung von zwingenden gesetzlichen Vorschriften und Normen sowie die Budgetkontrolle Somit ist sie ein Werkzeug zur internen Kontrolle Das Monitoring wird normalerweise gleichzeitig mit der Umsetzung ausgef hrt und dient der berpr fung dieses Verfahrens insbesondere hinsichtlich des Erreichens der angenommenen Arbeitsleistung und der Ergebnisse der ergriffenen Ma nahmen sowie der f r die Umsetzung eingesetzten Mittel Pr fung und Monitoring k nnen als Informationsquelle genutzt werden Sie werden damit Teil der Evaluation Zur ck zum Beispiel Ein Monat ohne Auto Der Verlauf der Aktion wird dokumentiert und hinsichtlich der Einhaltung der Regeln berwacht Zur Pr fung dass die Autos wirklich nicht benutzt werden parken die Teilnehmenden diese auf einem abgesicherten Gel nde W hrend des Selbstversuchs f hren die Teilnehmenden ein Mobilit tstagebuch 1 3 Was ist der Sinn einer Evaluation Durch Evaluationen ist es m glich die Wirkungen und Effekte der umgesetzten Ma nahmen quanti tativ und qualitativ zu bestimmen Sind die gew nschten Effekte eingetreten dient die Evaluation zur Best tigung der Vorgehensweise Treten sie nicht oder nur teilweise ein deckt die Evaluation Schwach stellen auf und kann dazu dienen erg nzende Ma nahmen zu planen und umzuset
92. flussen Um diese Faktoren und ihre Wirkung angemessen zu ber cksichti gen erhebt eine gute Evaluation auch immer die Daten einer Kontrollgruppe an einem Kontrollstandort oder entsprechend einer Vergleichsgruppe Im Fall Evalstadt wird also eine weitere Schule mit m glichst hnlichen Bedingungen ausgew hlt an der keine verkehrsbezogenen nderungen der Infrastruktur und keine Kommunikationsma nahmen durchgef hrt werden An diesem Kontrollstandort werden die gleichen Frageb gen zur gleichen Zeit wie am Standort der Ma nahme verteilt werden also auch vorher und nachher Der Unterschied zwischen den Werten des Standorts mit durchgef hrter Ma nahme und dem Kontrollstandort ist die eigentliche Wirkung der Ma nahme da andere Einfl sse beispielsweise Benzinpreisschwankungen oder Medienaufmerksamkeit f r das Thema Schulwegeunf lle auch am Kontrollstandort aufge treten w ren Oft ist auch schon die Datenerhebung an sich beispielsweise die Befragung eine Art Ma nahme oder Eingriff und k nnte einen Einfluss auf das Verhalten zeigen Dies ist bei der Wahl des Termins und der Kommunikation zum Grund der Befragung zu ber cksichtigen Effekt Effekte der Ma nahme Ma nahme Effekte anderer Faktoren Referenzszenario Vorher Nachher Zeit Abbildung 2 6 Die Bedeutung des Referenzszenarios Randomisierte Kontrollgruppen Im Idealfall erfolgt die Zuordnung zu Experimental Vergleichs oder zur Kontrollgruppe nach Z
93. fragen Abbildung 5 8 Kategorien zur Beschreibung der Besonderheiten in einer Stadt 3 Erstellen Sie Ursache Wirkungs Beziehungen zwischen den Auswirkungen der Ma nahmen und den Rahmenbedingungen der Stadt Das Verst ndnis f r die Ursache Wirkungs Beziehungen siehe Kapitel 2 2 auf Seite 18 zwischen den Auswirkungen der Ma nahmen und den Besonderheiten der Stadt kann wesentlich f r den Erfolg der bertragung sein Eine Gewichtung der beeinflussenden Faktoren hilft bei der Nachvollziehbarkeit 4 Beschreiben Sie die gegenseitigen Abh ngigkeiten zwischen den Ma nahmen In vielen St dten ist es nicht die eine Ma nahme die zum Erfolg einer nachhaltigen mobilen Stadt f hrt sondern die gute Mischung sich gegenseitig erg nzender Projekte F r eine bertragbarkeit ist es wichtig zu wissen wie die Ma nahmen zusammenh ngen egal ob r umlich zeitlich in ihrer Wirkung in Bezug auf Zielgruppen und so weiter 5 Beschreiben Sie die Umsetzung der Ma nahme so dass andere diese nachahmen k nnen Eine gute Ma nahmenbeschreibung funktioniert hnlich wie ein gutes Rezept Es gen gt nicht nur ein sch nes Foto vom fertigen Kuchen zu zeigen Es braucht auch eine genaue Beschreibung der Zutaten einschlie lich der Mengen der Werkzeuge einen zeitlichen Ablauf und die Beschreibung der einzelnen Handlungen In Bezug auf Mobilit tsma nahmen wurden die meisten relevanten Aspekte im Kapitel Wirkungsevaluation beschrieben F r einen bertra
94. gangen und dient der Ermittlung von Mobilit ts kennwerten der st dtischen Wohnbev lkerung Die Befragung wird vom Institut f r Verkehrsplanung und Stra enverkehr der TU Dresden durchgef hrt Der Untersuchungsraum des SrV 2008 umfasste 76 St dte Gemeinden und Verwaltungsgemeinschaften auf dem Gebiet der Bundesrepublik Deutsch land Davon befinden sich 55 in den neuen Bundesl ndern einschlie lich Berlin 21 St dte und Gemeinden liegen im alten Bundesgebiet Je nach Aufgabenstellung der Einzelstadt war eine vorgege bene Nettostichprobe zu erreichen diese betrug f r Oberzentren zwischen 1 000 Personen Standard stadt und 38 000 Personen Berlin In einigen Kommunen wurden die Daten in entsprechenden Publi kationen oder Tabellenwerken aufbereitet Inzwischen ist die Feldphase f r die SrV 2013 abgeschlossen Insgesamt wurde in ber 100 Untersuchungsr umen der Bundesrepublik Deutschland eine Stichprobe von ca 120 000 Personen befragt http tu dresden de die_tu_dresden fakultaeten vkw ivs srv Deutsches Mobilit tspanel Das deutsche Mobilit tspanel wird vom Institut f r Verkehrswesen am Karlsruher Institut f r Techno logie KIT wissenschaftlich betreut Es handelt sich um ein rotierendes Panel das seit 1994 durchge f hrt wird Hierbei werden die einzelnen Kohorten drei Jahre zu ihrem Verkehrsverhalten befragt Die Grundgesamtheit bilden Haushalte in Deutschland Die j hrlichen Erhebungen haben einen Umfang von rund 1 500 Haus
95. gbarkeitsbericht erg nzen Sie diese Punkte um die n tigen praktischen Hinweise und Tipps 6 Ver ffentlichen Sie Ihre Erkenntnisse Neben klassischen gedruckten Ergebnisberichten oder Kurzbrosch ren die die wichtigsten Erkennt nisse zusammenfassen bietet es sich auch an Texte ins Internet zu stellen Zum Beispiel auf der Homepage Ihrer Kommune oder Ihres Unternehmens Zur weiteren Verbreitung ist es auch hilfreich Ihre Ergebnisse in gr eren Datenbanken eintragen zu lassen So gibt es z B in Deutschland das Portal des Nationalen Radverkehrsplans in dem sehr viele Ergebnisse zum Radverkehr gesammelt und aufbe reitet werden www nationaler radverkehrsplan de Im europ ischen Kontext ist die Eltis Website eine gute Plattform f r Evaluationsergebnisse kommunaler verkehrlicher Ma nahmen www eltis org Die Aufgaben der Zielstadt Die meisten St dte kennen ihre Fragestellungen Rahmenbedingungen und lokalen Strukturen genau und suchen nach Anregungen f r Ma nahmen Es gibt viele gute Beispiele aus anderen St dten einige Datenbanken f r Beispiele stehen in Kasten 15 Wichtig ist dass vor der bertragung in die eigene Kommune anhand der Empfehlungen aus dem Abschnitt Ursprungstadt gr ndlich gepr ft wird ob alle wichtigen Voraussetzungen und Erfolgsfaktoren f r eine bertragung gegeben sind oder geschaffen werden k nnen Kasten 15 Wo finden Sie Fallstudien f r urbane Mobilit tsma nahmen Ausgew hlte Quellen
96. gebenenfalls k nnen auch Partnerschaften mit schulen oder Universit ten die n tige Unterst tzung liefern Evaluationen dienen nur dazu das Projekt oder Programm zu bewerten und dann abzuschaffen oder die Verantwortlichen zu kritisieren Eine Evaluation deckt durch den Einsatz verschiedener Methoden Schwachstellen auf Die Umsetzung jeder Ma nahme birgt Risiken Es muss also immer damit gerechnet werden dass sich im Laufe eines Planverfahrens die Rahmenbedingungen oder Anforderungen so stark ndern dass auch das Projekt angepasst werden muss Das geschieht umso h ufiger je l nger die Projekte laufen oder je aufw ndiger sie sind Je eher also durch eine Evaluation m gliche Schwachstellen erkannt werden desto schneller und besser kann reagiert werden um das Projekt oder die Ma nahme dennoch erfolgreich umzusetzen Auf diese Weise wird das Risiko des Scheiterns des Programms des Projekts oder auch der Person minimiert und zudem werden neue Handlungs und Gestaltungsoptionen er ffnet Die Evaluation fordert aber von allen Handelnden eine gewissen Offenheit und Kritikf higkeit Nur so kann die n tige Flexibilit t aufgebracht werden eine ma geschneiderte und in der Wirkung optimale Ma nahme umzusetzen Jedes starre Festhalten an einmal vor langer Zeit getroffenen Entscheidungen w re nur sch dlich und unprofessionell MISSERTFOLG 2 NEIN DAS ISTUNS NOTIERE EINE LEHRE STARKERE ANKEN 6 2 St rungen im A
97. geleiteten Schluss folgerungen Die Wahl des Evaluations Designs ist unabh ngig von der Anwendungsebene EU Land Region und Gemeinde und der Komplexit t des angesprochenen Themas Um eine aussagekr ftige Wirkungsevaluation zu planen muss vor der Durchf hrung ein Wirkungs modell aufgestellt werden siehe Kapitel 2 2 auf Seite 18 Dazu geh rt auch konkrete Hypothesen also Wirkungsannahmen zu formulieren Diese sollten nach M glichkeit eindeutig definiert werden und messbar sein Vor der Umsetzung muss gekl rt sein mit welchen Methoden diese erfasst werden k nnen vgl Kapitel 2 5 auf Seite 29 und 4 3 auf Seite 52 Abbildung 2 1 zeigt die empfohlenen Schritte der Wirkungsevaluation diese werden nachfolgend im Einzelnen vorgestellt Ma nahme Schritte der Wirkungsanalyse Planung 1 bergeordnete und ma nahmenspezifische Ziele identifizieren 2 Realistische Zielgr en und kriterien definieren p Ursache Wirkungs Beziehungen bedenken 4 Relevante Indikatoren ausw hlen 5 Evaluationsdesign und Methode n der Datenerhebung ausw hlen 6 Vorher Messung durchf hren 7 Daten Auswertung und Diskussion der Vorher Messung 8 Interpretation der Ergebnisse Umsetzung 9 durchf hren Durchf hrung 10 Daten Auswertung und Diskussion Vergleich mit Vorher Messung 11 Interpretation der Ergebnisse Abb 2 1 Schritte der Wirkungsevaluation Oft werden die Daten der Vorher Messung
98. gesetzten Ma nahmen und der dazugeh rigen Evaluation mit Datenerhebung auswertung und interpretation steht der Bericht In diesem werden alle Schritte der Ma nahmenpla nung und der Evaluation sowie die Ergebnisse und Effekte der Ma nahmen nachvollziehbar dokumen tiert In den folgenden Abschnitten sind Tipps und Hinweise f r die Berichtlegung und Ver ffentli chung der Evaluation zusammengestellt 5 1 Ergebnisdarstellung Es gibt verschiedene Ebenen von Evaluationsberichten grob k nnen zun chst interne und externe Berichte unterschieden werden F r interne Berichte zum Beispiel als Nachweis f r die korrekte Verwendung von F rdergeldern liegen oft klare Hinweise f r die Gliederung und den Inhalt vor In aller Regel werden diese internen Berichte nicht breit ver ffentlicht Der Aufwand f r einen externen Bericht lohnt sich vor allem f r Evaluationen die auch f r andere interessant sein k nnten Nur durch diese Ver ffentlichungen k nnen weitere Interessengruppen Entscheidungstr ger Kommunen Unternehmen usw von den Erfahrungen lernen und somit ein Wissens und Technologietransfer erm glicht werden Ein aussagekr ftiger Bericht kann nach dem folgenden Schema angelegt werden Problembeschreibung Ist Zustand Zielzustand auf allen Ebenen mit den dazugeh rigen Indikatoren Zeit und Ma nahmenplan Beschreibung aller Projektbeteiligten Beschreibung der Ma nahmenumsetzung und ggf der Abweichungen Prozessevaluation E
99. glich auszuw rfeln an welchem Standort sie umgesetzt werden soll In einem solchen Fall muss man sich darum bem hen einen Standort oder eine Personengruppe zu finden die der ersten in m glichst vielen Punkten m glichst hnlich ist Dieses Untersuchungsdesign wird als Quasi Experiment bezeichnet Der Begriff Quasi Experiment bezieht sich auf ein Forschungsdesign das viele hnlichkeiten mit der randomisierten kontrollierten Studie hat aber es fehlt speziell das Element der zuf lligen Zuwei sung Bei einer Zufallszuweisung haben alle Teilnehmenden die gleiche Chance an einer Ma nahme teilzunehmen Dadurch stellt die Zufallszuweisung sicher dass sowohl Experiment als auch Kontroll gruppe gleichwertig sind Im Projekt Schulumgebung in Evalstadt w rde eine Zufallszuweisung bedeuten dass die teilneh menden Schulkinder Eltern und Lehrkr fte nach dem Zufallsprinzip einer Schule zugewiesen werden Dies ist selbstverst ndlich nicht m glich das Projekt arbeitet mit den bestehenden Schulklassen Die Schulen nach dem Zufallsprinzip auszuw hlen w re ebenfalls quasi experimentell da die Faktoren beispielsweise das Gebiet in dem sich die Schule befindet nicht kontrolliert werden Daher sind die meisten Forschungsdesign f r Verkehrsma nahmen tats chlich quasi experimentell Die quasi experimentellen Vergleichsgruppen und standorte k nnen sich von den Ma nahmen gruppen und standorten in vielen Aspekten systematisch unterscheiden
100. gt einsetzen Dennoch gilt es nicht am falschen Ende zu sparen Es sollte in jedem Fall das Ziel sein den gesamten Ablauf zu evaluieren und alle relevanten Aktivit ten in Bezug auf den Ma nahmenprozess zu dokumentieren von der Vorbereitung ber die Umsetzung bis zum Betrieb Es gibt viele erprobte Methoden f r die Prozessevaluation Im Folgenden werden Instrumente vorge stellt die im besonderen Ma e dazu geeignet sind die verschiedenen Blickwinkel aller Beteiligten zu erfassen und f r den Prozess nutzbar zu machen Zudem k nnen auch die Methoden aus der Wirkungs evaluation siehe Kapitel 2 5 auf Seite 29 zum Einsatz kommen Standardisierte Formulare Die Datenerhebung und Dokumentation wird enorm erleichtert wenn standardisierte Formulare zum Einsatz kommen Diese k nnen f r verschiedene Bereiche entwickelt werden Vorteile sind dass die jeweiligen Verantwortlichen oder Beteiligten diese selbst ausf llen k nnen und die Ergebnisse untereinander oder auch mit anderen Projekten verglichen werden k nnen Ein solches Formular sollte folgende Informationen abfragen Allgemeine Allgemeine administrative Informationen wie Ziele Zielgruppen Interessenver Informationen treter Partner und Ma nahmen Kurze und klare Beschreibung der wichtigsten Widerst nde Widerst nde Was ist geschehen Wie kam es dazu Welche Auswirkungen hat dies auf den Prozess der Ma nahmen Kurze und klare Beschreibung der wichtigsten Treib
101. haelabraham de Die Brosch re als Download www facebook com umweltbundesamt de Kurzlink http www uba de evaluation verkehrsplanung www twitter com umweltbundesamt
102. haft am besten kommuniziert werden Ist eine schriftliche Information das Mittel der Wahl Oder soll es einen interaktiven Dialog und Austausch geben PRINTMEDIEN MULTIMEDIA PERS NLICH Newsletter Website Besprechungen Faltbl tter CD DVD Seminare Projektdatenbl tter Webbasierte Foren Workshops Pressemitteilungen Telefonkonferenzen Podiumsdiskussionen Webinare Tabelle 5 1 Vorschl ge f r Verbreitungskan le Die Verbreitungskan le siehe Tab 5 1 sollten zu dem Projekt passen Es k nnen auch f r unterschied liche Zielgruppen mehrere Methoden kombiniert werden NACHVOLLCZIEHBARE ERGEBNISSE UND MIT EINER SIGHIFIKANTZ _ 0 004 32 IST DIE ScHuL UM GEBUMG JETZT VIEL SICHERER f EyALoKTI 5 100 5 2 Datendarstellung Der gr te Teil eines Berichts wird aus Text bestehen Tabellen Diagramme und Grafiken lockern den Text nicht nur auf sondern k nnen einzelne Ergebnisse auch knapp und bersichtlich veranschau lichen Dies gilt insbesondere f r statistische Daten und Fakten oder f r technische Informationen Diese w ren in Textform sehr un bersichtlich Aber genau so wie Texte zum Beispiel durch Verwen dung von zu viel Fachsprache f r Laien unverst ndlich oder schwer lesbar sein k nnen gibt es auch Grafiken die mehr verwirren als aufkl ren PR SEHTATION DATEN NICHTS DAS IST ABSTRAKT SCH HE PATEH WAS BEDEUTEN SIE Histogramme k nnen helfen H ufigkei
103. halten mit mehr als 3 000 Personen http mobilitaetspanel ifv kit edu Kraftfahrzeugverkehr in Deutschland 2010 Die bundesweite Verkehrserhebung KiD 2010 ist Befragung von Kfz Haltern ber Einsatz und Nutzung von Kraftfahrzeugen Die Befragung bietet Kennwerte wie beispielsweise Verkehrsaufkommen Verkehrsmittelwahl und Fahrtenketten insbesondere beim Kraftfahrzeugverkehr bis einschlie lich 3 5 t Nutzlast Die Daten bieten einen grundlegenden Einblick in das Verkehrsverhalten von gewerblichen und privaten Pkw und Lkw Fahrerinnen und Fahrern Die Daten k nnen bei der Clearingstelle f r Verkehrsdaten bestellt werden http daten clearingstelle verkehr de order form html 223 Fahrleistungserhebung 2002 2014 Die fahrzeugbezogene bundesweite Erhebung im Jahr 2014 richtete sich an circa 156 000 Fahrzeug halter Ber cksichtigt wurden alle Fahrzeugarten und Haltergruppen Hier bildet die Fahrleistung von Kraftfahrzeugen Kfz auf dem Stra ennetz innerhalb eines Jahres eine zentrale Kenngr e zur Beschreibung des motorisierten Stra enverkehrs Die Erhebung wurde von der Bundesanstalt f r Stra enwesen BASt durchgef hrt Fahrleistungserhebungen wurden f r die Jahre 1990 1993 und 2002 durchgef hrt http www fahrleistungserhebungen de 11 Abbildungen und Referenzen Alle Cartoons stammen von AUKE HERREMA wwmu aukeherrema nl Teile des Textes wurden 2013 im Buch Evaluation Matters A practitioner s guide to sound eva
104. hland MiD 5 81 Mobilit t in St dten SrV 2008 2013 5 82 Deutsches Mobilit tspanel 5 82 Kraftfahrzeugverkehr in Deutschland 2010 5 82 Fahrleistungserhebung 2002 2014 5 82 11 Abbildungen und Referenzen 82 12 Die Autorinnen und Autoren 83 Vorwort Was bringt eigentlich die Einf hrung eines Fahrradverleihsystems Wie viele neue Fahrg ste f r den ffentlichen Verkehr werden durch eine Marketingkampagne gewonnen Funktionieren die stadtweiten Verkehrssicherheitsma nahmen in Schul Mit solchen und hnlichen Fragestellungen zur Wirkungsabsch tzung von verkehrlichen Ma nahmen sehen sich Akteure in der t glichen Arbeit konfron tiert Im EU Projekt CIVITAS MIMOSA standen die kommunalen Mitarbeitenden den St dten Bologna Funchal Gdansk Tallinn und Utrecht ebenfalls vor dieser Herausforderung Evaluationen von komplexen Situationen sind aber nicht einfach Daher erarbeitete das Projektevaluationsteam der Technischen Universit t Berlin Fachgebiet Integrierte Verkehrsplanung gemeinsam mit dem internationalen CIVITAS POINTER Team das mit der horizontalen Aufgabe der Koordinierung aller Evaluierungen in den 25 teilnehmenden St dten in CIVITAS PLUS 2008 2013 betraut war ein Handbuch mit dem Titel Evaluation matters Dieses unterst tzt seit dem Erscheinen 2013 zahlreiche international
105. ich einem einzelnen Zeitpunkt z B nach der Ma nahme erm glicht keinerlei Aussagen ber Wirkungen oder Ver nderungen aufgrund der Ma nahme In Evalstadt wird ein Programm umgesetzt das sich auf den schulischen Bring und Holverkehr konzentriert Ziel ist es dass weniger Eltern ihre Kinder mit dem Auto zur Schule bringen Wie kann die Wirkung der Ma nahmen gemessen werden Zun chst sollte berpr ft werden wie der Modal Split der Schulwege an den an der Ma nahme teilnehmenden Schulen nach einzelnen Jahrgangsstufen aussieht Erfahrungsgem ist der Anteil der Autofahrten bei den Schulwegen in den h heren Klassen niedriger Die Ma nahme wird anschlie end in einer Klasse durchgef hrt jedoch in einer weiteren Klasse der gleichen Jahrgangs stufe die als Kontrollgruppe dient nicht Nach Ablauf der Ma nahme wird der Modal Split erneut erhoben Das Ergebnis zeigt dass bei der Zielgruppe 21 weniger Autofahrten stattfanden und in der Kontrollgruppe 14 Die 7 prozentige Differenz ist die Netto Wirkung Neben den Wirkungen der Ma nahme existieren also noch weitere Einflussgr en oder Faktoren die das Verhalten der Eltern und der Schulkinder beeinflussen Wichtig f r die Qualit t von Evaluationen ist wie gr ndlich diese weiteren Faktoren beschrieben werden k nnen Denn nur wenn diese klar dargestellt sind k nnen die Ergebnisse zuverl ssig auf die Ma nahme zur ckgef hrt werden Damit steigt der Wert der aus der Evaluation ab
106. ie Objektivit t und G ltigkeit Interrater Reliabilit t zu gew hrleisten wird dringend empfohlen dass mindestens zwei Personen voneinander unabh ngig an den Texten arbeiten und die Codierung vornehmen Weicht die Codierung zwischen den beteiligten Codierenden stark voneinander ab sollten diese die unterschiedliche Bewertung diskutieren ggf das Kategoriensystem berarbeiten und oder ihre Art der Codierung vereinheitlichen Diesen Vorgang nennt man kommunikative Validierung Kasten 11 Codieren der gef hrten Interviews Eine praktische M glichkeit kann sein zuerst einen groben Entwurf der Auswertungskategorien zu erstellen den sogenannten Codebaum Dieser deckt alle Themen ab die f r die Evaluationsarbeit im Projekt wichtig erscheinen Der Entwurf sollte sich an dem Leitfaden f r die Befragungen orientieren Nachdem die ersten transkribierten Befragungstexte codiert wurden kann die Struktur gem den tats chlichen Antworten neu organisiert werden Dazu k nnen auch Unterkategorien Untercodes angelegt werden Es ist notwendig den Codebaum flexibel zu handhaben weil m glicherweise bei der Codierung der zweiten oder dritten Befragung eine wichtige neue Unter Kategorie entstehen kann f r die ein neuer Unter Code erforderlich ist Mit diesen neuen Erkenntnissen die w hrend der Codie rung gewonnen werden sollten r ckwirkend auch die bereits codierten Befragungen dahingehend gepr ft werden ob weitere relevante Inform
107. ie schon mehrfach festgestellt k nnen auch die Erfahrungen aus dem Projektverlauf oder der Umsetzung die weniger erfolgreich verliefen sehr hilfreich und informativ sein Aus Erfahrung wird man klug Die bertragung einer Ma nahme oder eines Ma nahmenb ndels von einer Stadt auf die andere ist weit verbreitet Aber nur weil sie in Evalstadt erfolgreich war bedeutet dies nicht zwangsl ufig dass sie in jeder anderen Stadt ebenso erfolgreich umgesetzt werden kann bertragbarkeit bezieht sich nicht einfach auf einzelne technische oder betriebliche Funktionen sondern darauf wie eine Ma nahme in den Stadtkontext passt und wie die Ma nahmen miteinander verkn pft sind d h unter welchen Bedingungen und Kombinationen eine bestimmte Ma nahme oder ein Ma nahmenpaket andernorts mit einem vergleichbaren Erfolgsgrad angewendet werden kann Beurteilung der bertragbarkeit In der Praxis h ngt die bertragbarkeit zu einem gro en Teil von den Eigenschaften der Ma nahmen selbst und den vorherrschenden Bedingungen f r die Umsetzung in der Zielstadt ab Das bedeutet dass in einem ersten Schritt alle zusammenh ngenden Informationen die zur Erkl rung von Erfolg oder Misserfolg einer Ma nahme beitragen k nnen gesammelt und verbreitet werden m ssen z B als Bericht oder als Daten in einer Datenbank Kasten 14 Projektbeispiele aus europ ischen St dten Im europ ischen Projekt 5 wurden und werden Projektbeispiele un
108. ie weitere hilfreiche Ressourcen Die Webseite und Materialien sind allesamt in englischer Sprache MaxSumo 2009 Guidance on how to plan monitor and evaluate mobility projects http www mobilitymanagement org index phtml Main_ID 2174 amp 1D1 2359 amp id 2359 Diese Seite gibt praktische Tipps f r die Planung Umsetzung und Evaluation von Ma nahmen im Bereich des Mobilit tsmanagements Gesundheits konomische Bewertungsinstrumente HEAT f r Zufu gehen und Radfahren Methodik und Benutzerhandbuch konomische Bewertung von Verkehrsinfrastruktur und Verkehr spolitik http www euro who int de health topics environment and health Transport and health publications 2011 health economic assessment tools heat for walking and for cycling methodolo gy and user guide economic assessment of transport infrastructure and policies 2014 update Diese Seite und der herunterladbare Bericht beschreibt die Methodik von HEAT Health Economic Assessment Tool entwickelt von der wHo und weiteren Partnern mit dessen Hilfe gesundheits kono mische und kologische Effekte von Ma nahmen die das Zufu gehen und Radfahren f rdern abge sch tzt werden k nnen 9 3 Kommentierte Literaturliste zu Datenerhebung und Analyse BORTZ J RGEN SCHUSTER CHRISTOF 2010 Statistik f r Human und Sozialwissenschaftler Lehr buch mit Online Materialien 7 Aufl Berlin Springer Ein Klassiker f r den sozialwissenschaftlichen Bereich Sehr aus
109. iger Test Ungerichtete Hypothese zweiseitiger Test Die wahrgenommene Sicherheit rund um Schulen mit einheitlich gestalteter Schulumgebung ist h her als bei Schulen mit unver nderter Umgebung Regelm ige Busnutzende bewerten den Sitzkomfort im Stadtbus niedri als Seltennutzende Es gibt einen Zusammenhang Kor relation zwischen der wahrgenom menen Sicherheit und der Art der Schulumgebung Die Bewertungen des Sitzkomforts im Stadtbus durch regelm ige Busnutzende unterscheidet sich deutlich von den Bewertungen der Wenignutzende Die wahrgenommene Sicherheit rund um Schulen mit einheitlich ge stalteter Schulumgebung ist gleich oder niedriger als bei Schulen mit unver nderter Umgebung Regelm ige Busnutzende und Sel tennutzende bewerten den Sitzkom fort gleich Es gibt keine Korrelation zwischen der wahrgenommenen Sicherheit und der Art der Schulumgebunge Die Bewertungen des Sitzkomforts im Stadtbus durch regelm ige Bus nutzende unterscheidet sich nicht deutlich von den Bewertungen der Wenignutzende Tabelle 3 5 Beispiele f r gerichtete und ungerichtete Hypothesen Bestimmung des Signifikanzniveaus F r die Annahme oder das Verwerfen der Nullhypothese ist die Bestimmung des Signifikanzniveaus wichtig Eine Nullhypothese wird nur zur ckgewiesen wenn die Fehlerwahrscheinlichkeit kleiner oder gleich 5 oder 1 ist Diese Grenze wird als Alpha Fehler oder Signifi
110. ion des Pilotzeit raums k nnen dann aufgrund der Verk rzung andere sein als wenn die Phase wie urspr nglich geplant gelaufen w re Die Leistungsf higkeit der Ma nahme kann in der Testphase dann nicht sicher bestimmt werden Insbesondere bei Mobilit tsma nahmen spielen auch jahreszeitliche Effekte eine sro e Rolle Projekte zur F rderung des Radverkehrs die auf ihre Wirksamkeit hin berpr ft werden sollen werden im Winter andere Effekte zeigen als im Fr hjahr Hier wird deutlich warum die parallel laufende Prozessevaluation so wichtig ist Sie kann durch das Monitoring fr hzeitig auf Verz gerungen hinweisen und gegebenenfalls die m glichen Folgen abschw chen Es werden zu viele Daten erhoben Im Fachjargon wird der Effekt manchmal Schrotschusstechnik genannt Es werden zun chst in alle Richtungen jede Menge Daten erhoben und gesammelt um dann zu sehen was dabei abf llt Das ist weder zeit noch kosteneffizient und f hrt eher zu der Gefahr der Verzettelung Dies kann die Evalua tion aufw ndiger machen jedoch ohne einen Zugewinn an Erkenntnis Es werden zu wenige Daten erhoben Nicht alle Datenerhebungen sind erfolgreich Es kann z B sein dass auf eine Umfrage deutlich weniger Menschen antworten als es f r die Stichprobe sinnvoll w re oder Daten sind nicht verf gbar entweder weil sie doch nicht vorliegen oder nicht ver ffentlicht und verbreitet werden d rfen Gerade wenn die Datenerhebung an externe Dienstleis
111. iskussion zusammen und dokumentiert gegebenenfalls verbleibende Meinungsunterschiede Fokusgruppen sind nicht automatisch konfliktgeladene Streit gespr che Ganz im Gegenteil k nnen gerade die unterschiedlichen Perspektiven zu einem ganzheitli chen Ansatz f hren Beispielsweise k nnen Fokusgruppendiskussionen dabei helfen bei der Planung der Innenraumgestaltung von Stra enbahnen die Bed rfnisse aller Nutzergruppen angemessen zu ber cksichtigen und m gliche Konflikte schon im Vorfeld zu entsch rfen Fokusgruppen k nnen in jeder Phase einer Evaluation eingesetzt werden Vor dem Einsatz von Fokusgruppen ist es wichtig dass die relevanten Zielgruppen bestimmt werden Je nach Fragestel lung kann dann abgewogen werden ob es sinnvoller ist Fokusgruppendiskussionen mit gemischten Zielgruppen durchzuf hren oder lieber getrennt voneinander Im obigen Beispiel der Stra enbahn gestaltung ergibt es mehr Sinn Sprecherinnen und Sprecher f r die Gruppen Fahrrad Rollstuhl Kinderwagen ltere Menschen Berufspendelnde Reisende mit Gep ck und Jugendliche gleichzeitig an der Planung zu beteiligen Die Moderierenden sind dann aufgefordert alle Gruppen und Personen zu Wort kommen zu lassen und den Kompromiss neutral zu verhandeln Durch eine gut moderierte Diskussion zwischen allen kann auch das gegenseitige Verst ndnis unterst tzt eine breite Zustimmung oder ein tragf higer Kompromiss erreicht werden In Projekten in den
112. isse in einem m glichst standardisierten Bericht Dokumentation im Idealfall direkt nach dem Workshop ca 3 4 Stunden Versenden des Berichtentwurfs an alle Teilnehmenden mit der Bitte um R ck Feedback meldung und ggf Erg nzung Verifikation sp testens zwei Wochen nach dem Workshop Verbreitung berarbeitung und Versenden des Schlussberichts ca 2 3 Stunden Abbildung 4 2 Ablaufplan eines Learning History Workshops Die Durchf hrung eines Workshops sollte gr ndlich in allen Schritten geplant und durchdacht werden Wer soll teilnehmen Wer moderiert Welche Aspekte sollen besprochen werden Was k nnte das Ergebnis sein Wo drohen Konflikte Welche erg nzenden Informationen oder Unterlagen m ssen bereit liegen Damit sich die Teilnehmenden angemessen einbringen k nnen sollten an einem solchen Workshop nicht mehr als zehn bis zw lf Personen teilnehmen Idealerweise kommen diese Akteure aus ganz unterschiedlichen Bereichen damit sie viele Sichtweisen einbringen k nnen Als Grundlage f r die Zusammenstellung dient ggf die Liste der Zielgruppen und Projektbeteiligten Der Erfolg des Workshops h ngt sehr von den F higkeiten des Moderators oder der Moderatorin ab Es ist eine anspruchsvolle Aufgabe die Diskussionen durch Fragen zu lenken ohne diese inhaltlich zu beeinflussen den Zeitplan einzuhalten Kategorien zu bilden und Ergebnisse festzuhalten und ggf zu gewichten 55 Kasten 13 Kompetenzen der Moderation f
113. it Hilfe anderer Moderationstechniken zu beschreiben und zu bewerten oder auf der Zeitachse zu dokumentieren Am Abschluss steht die zusammenfassende Diskussion Dabei k nnen alle Teilnehmenden f r sich formulieren welche Lernerfahrungen er oder sie im Projekt und im Workshop gemacht hat Zentrale Fragen zur Strukturierung der Diskussion k nnen sein Welche der Aktionen kann als Erfolg und welche als Misserfolg angesehen werden und warum Was kann aus dem Projekt und seinem Verlauf gelernt werden Was waren Erfolgsfaktoren Was hat dem Projektverlauf geschadet Wie k nnen zuk nftig Projekte und vor allem Prozesse dieser Art optimiert werden Auf der Grundlage der Ergebnisse wird ein Bericht erstellt und zun chst intern von allen Beteiligten gepr ft erg nzt und nach berarbeitung wird er ggf ver ffentlicht Der gro e Vorteil der Methode des Storytelling Workshops besteht darin dass alle Beteiligten in einem Raum sind und sich zeitlich begrenzt konzentriert mit den gleichen Fragen besch ftigen Das gegenseitige Zuh ren die Diskussion und das gemeinsame Bewerten unterst tzen das Verst ndnis und f rdern die Perspektiven bernahme Die Methode kann sowohl in der Prozessevaluation als auch in der qualitativen Wirkungsevaluation eingesetzt werden Es k nnte aber sein dass einige der Teilnehmenden auf die Einladung zu einem solchen Workshop zun chst zur ckhaltend oder skeptisch reagieren Sie empfinden die
114. kanzniveau bezeichnet F hrt eine Umfrage zu einer in der beschriebenen Weise begr ndeten Schlussfolgerung wird von einem signifikanten a 5 oder sehr signifikanten 1 Ergebnis gesprochen Ein nicht signifikantes Ergebnis beweist jedoch nicht die G ltigkeit der Nullhypothese Sie belegt nur dass die Richtigkeit der Alternativhypothese nicht bewiesen werden konnte Wahl des richtigen Testverfahrens f r die vorliegenden Daten In diesem Schritt wird die geeignete Berechnungsmethode auf der Basis der zugrunde liegenden Frage stellung und des Skalenniveaus ausgew hlt Der Chi Quadrat Test stellt die geringsten Anforderungen bez glich des Messniveaus Daher eignet er sich besonders f r Daten auf einer Nominalskala Ein typischer Fall f r einen Chi Quadrat Test ist eine vergleichende Analyse zwischen M nnern und Frauen in Bezug auf die Frage Wie oft nutzen Sie die Stadtbusse Der t Test ist eine Methode um Hypothesen ber die Ungleichheit von zwei Durchschnittswerten z B Bewertung des Sitzkomforts vorher nachher zu validieren Die Variablen m ssen zur Verwen dung dieses Tests intervallskaliert sein Der t Test kann nur verwendet werden wenn Mittelwert und Varianz auf der Grundlage des Skalenniveaus sinnvoll interpretiert werden k nnen Berechnung der Testparameter Mit Hilfe der Daten wird die einseitige oder zweiseitige berschreitungswahrscheinlichkeit siehe auch gerichtete und ungerichtete Hypothese berechnet Je nach
115. lebbar wird Wie ist die Ger uschkulisse auf dem Bahnsteig Wie riecht es auf der Treppe Wie glatt ist der Boden Wie lenkt die Beleuchtung Welche Hinweise oder Schilder k nnen wahrgenommen werden Wie verst ndlich sind Durchsagen Ausgebildete Evaluatorinnen und Evaluatoren k nnen auch Ph nomene wahr nehmen die der Aufmerksamkeit der anderen entgehen oder durch eine Befragung nicht erfasst werden k nnen Eine Variante ist der Einsatz von Blickbewegungskameras Diese k nnen wie eine Brille getragen werden und zeigen bei der Auswertung der Filme exakt die Perspektive der Nutzer Diese aufw ndige Methode ist besonders hilfreich in allen sicherheitsrelevanten Bereichen z B der Planung von Notaus s ngen oder aber um die spezifischen Bed rfnisse von Nutzern kennenzulernen z B von Menschen mit eingeschr nkter Mobilit t Kombiniert mit der Technik des lauten Denkens kann man so enorm viel ber die Situation lernen Mit diesen Techniken ist es m glich ein vielseitiges Bild der zu evaluierenden Situation zu gewinnen die weit ber den Einsatz von Frageb gen und Befragungen hinausgeht In der Kombination mit anderen Methoden ist sie daher besonders stark ZUUVERL SSIGE BEOBACHTUNGEN Ve ANZAHL DER TURG NGER ENT 7 Au er selbst zum Ort der Ma nahme zu gehen und mehr oder weniger standardisierte Berichte und Beobachtungsprotokolle zu erstellen wird immer h ufiger auch die Video berwachung genutzt
116. len Achse die Messergebnisse eingetragen Im Zeitverlauf wird der prozentuale Anteil der Personenbef rderung im ffentlichen Personennahverkehr in Evalstadt ber mehrere Quartale hinweg angezeigt Abb 5 4 a 53 1 u 15 Anteil der Fahrten im Pnv in Prozent 01 2013 02 2013 03 2013 04 2013 01 2014 02 2014 03 2014 04 2014 Abbildung 5 4 Beispiel f r ein Liniendiagramm Eine interessante grafische Darstellung einer H ufigkeitsverteilung ist das Box Plot Diagramm deutsch Kastengrafik Es gibt einen schnellen und detaillierten berblick dar ber wie sich die Werte verteilen Der Kasten markiert alle Werte zwischen 25 und 75 die Linien zeigen an wie weit die beiden anderen Quartile streuen Abb 5 5 Die Linienendpunkte zeigen die Extremwerte auf Kasten sind gut geeignet um verschiedene Verteilungen zu vergleichen 5 4 3 N N 2 67 557 544 al D p 191 245 499 vorher nachher Zeitpunkt der Befragung Abbildung 5 5 Beispiel f r die Darstellung der Ergebnisse mit Kastengrafiken Wie Daten nicht pr sentiert werden sollten Vertraue keiner Statistik die du nicht selbst gef lscht hast Dieses Zitat wird h ufig in Statistikb chern verwendet um die M glichkeit der Manipulation oder der bewussten oder unbewussten Fehlin terpretation zu unterstreichen Im folgenden Beispiel Abb 5 6 werden zwei Mal die gleichen Daten dargestellt
117. lne Textstellen den Codes zugeordnet sind Lite der Dokumente Dokument Browser Interwew_3 pem __ i m lbskumente 17 Label informiert Intersem_1 cioe j 2 8 hmmm mal berlegen 25 wir haben alle Eltern eingeladen Es gab einen Informationsabend der Schule s letzten Winter Leider konnten aber viele Eltem nicht teilnehmen Aber die die da waren waren sehr Sets 0 Interessiert zum Interessiert dem Vorhaben die Sicherheit ihrer Kinder im Stra enverkehr zu steigern Ste haben ber ihre Nahen Kar ir pateri Bedenken berichtet und wir haben den Ansatz des Sicherheits Labels diskutiert 35 Die Eltern den Prozess Prozess 1 7 hir wichtig Lite der Codes E en A 9 einzubeziehen war schon Sehr wichtig E der Eltern j 2 17 A Interessant Wie haben die Eltern denn die Diskussion aufgenommen 2 4 Eigentlich schon gut 25 Ich denke so ein Viertel der Eltern war bei dem Informationsabend da Also Tu Mach 1 Ti orbe Elternteil von einem Viertel unserer Sch ler Prodess Tl Erbenehung der Bien 1 A Was war mit den anderen Eltern Ja i i in dieser Phase des Verkehrssicherheits Labels waren viel
118. lua tion for urban mobility measures im Waxmann Verlag ver ffentlicht F r diese deutsche umfassende berarbeitung hat das Umweltbundesamt eine Lizenz von Waxmann erworben welche die kostenlose Bereitstellung dieses Werkes erlaubt Eine erste bersetzung vom Englischen ins Deutsche erfolgte durch das Vertaalbureau Snelvertaler http wwwu snelvertaler nl eine weitere bersetzung und Anpassung stammt von NICOLA MOCZEK 12 Die Autorinnen und Autoren KATRIN DZIEKAN Promovierte Verkehrsplanerin und Diplom Psychologin seit 2012 Fachgebietsleiterin Umwelt und Verkehr am Umweltbundesamt in Dessau Ro lau 2008 2012 Technische Universit t Berlin Fachgebiet Integrierte Verkehrsplanung u a Projektevaluationsmanagerin in CIVITAS MIMOSA Schwerpunkte Politikberatung Verkehrsverhalten nachhaltige Mobilit t und Evaluation katrin dziekan uba de VERONIQUE RIEDEL Diplom Ingenieurin seit 2012 wissenschaftliche Mitarbeiterin am Fachgebiet Integrierte Verkehrspla nung der Technischen Universit t Berlin Schwerpunkte Gamification Mobilit tsbildung quantitative Methoden Pr ferenzmessungen veronique riedel tu berlin de STEPHAN DAUBITZ Diplom Politologe und Gesundheitswissenschaftler seit 2008 wissenschaftlicher Mitarbeiter am Fachgebiet Integrierte Verkehrsplanung Technische Universit t Berlin Schwerpunkte Mobilit tsarmut empirische Mobilit tsforschung qualitative und quantitative Methoden stephan daubitz tu berlin de
119. m ig durchgef hrt werden Wenn die einzelnen Teilschritte also zu Beginn der Planung in einem Gesamt konzept strukturiert werden wird es deutlich einfacher die einzelnen Aufgaben anzugehen Zudem k nnen einzelne Teile auch an andere Abteilungen oder Projektpartner delegiert oder beauftragt werden Evaluationen sind zu teuer Die Evaluationen und hier besonders die Datenerhebung und Analyse kosten Arbeitszeit und Geld Wie schon bei der Argumentation zur Komplexit t gilt aber auch bei diesem Argument dass einige der Aufgaben ohnehin erf llt werden m ssen Und eine Evaluation kann dazu beitragen eine Kont rollfunktion auszu ben sowie eine m glichst hohe Kostenefhizienz und effektivit t der Ma nahmen zu sichern Mit Hilfe von Evaluationen k nnen fr hzeitig Fehlentwicklungen oder unwirksame Ma nahmen korrigiert werden Unn tige oder schwache Ma nahmen werden vermieden Ein wichtiger Effekt der Evaluationen das Lernen f r zuk nftige Projekte kommt allerdings nicht der evaluierten Ma nahme direkt zugute Der Effekt zeigt sich erst in sp teren Projekten er wird zu einem ffent lichen Gut Im Rahmen von kommunalen Projekten bzw mit ffentlichen Geldern finanzierten Projekten sollte dies jedoch selbstverst ndlich sein Schlie lich k nnte noch die Option gepr ft werden ob eventuell die Evaluation teilweise oder ganz durch externe F rdermittel finanziert werden kann das gilt insbesondere f r EU Projekte Ge
120. mationen zur Analyse von Befragungsdaten gibt es in Kapitel 3 Umfragen mit Fragebogen Der Einsatz eines schriftlichen Fragebogens geh rt zu den bekanntesten Methoden und ist oft die erste Wahl Die Vorteile sind dass auf diese Weise auch eine gro e Gruppe von Personen befragt werden kann gro er Stichprobenumfang und dass alle exakt die gleichen Fragen in der gleichen Reihenfolge gestellt bekommen Die Antworten sind verh ltnism ig einfach auszuwerten Die Antworten zwischen den Teilnehmenden einer Umfrage k nnen gut miteinander verglichen werden Eine Fragebogenum frage kann pers nlich durchgef hrt werden oder auch schriftlich per Post E Mail ber Internetseiten oder m ndlich ber das Telefon Das Verteilen und wieder Einsammeln der B gen kann oft leicht organisiert werden z B durch das Auslegen in Informationszentren oder Verteilen in einem Bus Ein Fragebogen kann offene und geschlossene Fragen beinhalten Je standardisierter ein Frage bogen ist desto mehr geschlossene Fragen enth lt er Bei einer offenen Frage ist die Beantwortung frei d h der Befragte schreibt eigenen Worten die Antwort in das vorgesehene Feld Eine typische Fragestellung w re Was gef llt Ihnen besonders gut an Auf diese Weise werden qualitative Daten gesammelt die entsprechend kategorisiert und ausgewertet werden m ssen siehe Kapitel 3 3 auf Seite 45 Diese offenen Fragen eignen sich immer dann wenn die Bandbreite der m glichen A
121. mern und die Einrichtung der entspre chenden Systeme zum Aufzeichnen aufw ndig sein Hier sollte man ggf mit einem auf diese Methode spezialisierten Unternehmen zusammenarbeiten Im Vergleich zum Postversand haben Telefonbefra gungen eine h here Antwortquote und sind daher repr sentativer sofern m gliche Abweichungen im Stichprobenrahmen der Telefonnummern ber cksichtigt werden Der Hauptvorteil von schriftlichen Frageb gen ist dass sie preiswert sind und geografisch grof fl chig verteilt werden k nnen Das Versenden und Zur ckschicken von Frageb gen nimmt jedoch viel Zeit in Anspruch Bei diesen Methoden sind geringe Antwortraten und unvollst ndig ausgef llte Frageb gen h ufige Probleme Kasten 6 Hallo Welt In den letzten Jahren wurde die Verwendung des Internets f r Umfragen sehr beliebt Dies ist h ufig einfacher und schneller als die herk mmlichen Papierfrageb gen Es gibt jedoch einige Aspekte die bei der Nutzung des Internets zu ber cksichtigen sind Verteilung und Zugang sind zwischen L ndern und St dten unterschiedlich Man kann davon ausgehen dass in Island 100 der Bev lkerung Inter net Zugang haben in Italien sind es aber nur etwa 50 Daher ist im Einzelfall eine echte Zufallsstich probe schwer zu erreichen die Ergebnisse k nnen durch die Zug nglichkeit oder Nicht Zug nglich keit zum Internet bereits verf lscht werden Gleiches gilt auch f r Umfragen ber social media Wenn Sie z B ei
122. mt de daten luftbelastung aktuelle luftdaten L rm Das Umweltbundesamt stellt umfangreiche Informationen zur Umgebungsl rmrichtlinie und zur L rmkartierung allgemein zur Verf gung http www umweltbundesamt de themen verkehr laerm umgebungslaermrichtlinie Unter den Ergebnissen der L rmkartierung gibt es eine Tabelle mit einer bersicht zur Belastung in einigen St dten http www umweltbundesamt de themen verkehr laerm umgebungslaermirichtlinie laermkarten Genaue Informationen gibt es auf den jeweiligen Seiten der Bundesl nder In Hessen zum Beispiel werden im Download Bereich EXCEL Tabellen mit den jeweils aktuellen Belastetenzahlen f r alle kartierten Gemeinden angeboten http www hlug de id 525 In Bayern werden beispielsweise Listen mit Betroffenenstatistiken verschiedener Kommunen ver f fentlicht http www Ifu bayern de laerm eg_umgebungslaermrichtlinie kartierung index htm betrof fenheitsanalyse Treibhausgas Um den Treibhausgasaussto auszurechnen gibt es Daten des Umweltbundesamtes f r einzelne Verkehrstr ger http www umweltbundesamt de themen verkehr laerm emissionsdaten Vorschl ge zur Berechnung von Treibhausgasemissionen von Spedition und Logistik liefert ein Leit faden http www umweltbundesamt de sites default files medien 461 publikationen 4306 pdf 10 3 Kraftfahrzeugdaten Das Kraftfahrt Bundesamt KBA f hrt umfangreiche Statistiken zu Daten des Pkw und Lkw Bestands
123. n 5 34 Gr e und Auswahl der Stichproben 5 35 Grundlegende Anregungen f r die Durchf hrung einer Umfrage 5 37 3 Dateneingabe und Datenauswertung 37 3 1 Datenaufbereitung und Datensicherung 37 3 2 Datenverarbeitung und analyse 2 41 Nullhypothese und Alternativhypothese S 43 Bestimmung des Signifikanzniveaus S 44 Wahl des richtigen Testverfahrens f r die vorliegenden Daten S 44 Berechnung der Testparameter 5 45 Testentscheidung 5 45 Interpretation 5 45 3 3 Qualitative 45 Transkription und Exzerpt der aufgezeichneten Daten S 45 Codierung der Texte S 46 Vergleich und Verallgemeinerung S 47 3 4 Ersebnisdiskussion ss 47 4 a a a a a a EEE FT ET 49 4 1 Ziele und Ergebnisse der Prozessevaluation 49 1 2 Widerstandeund Re an Rn 50 4 3 Methoden der Datenerhebung 52 Standardisierte Formulare 5 53 Storytelling und Learning History S 54 Sonstige Methoden 5 58 5 Dokumentation und Bericht
124. n werden Fragen 51 sind dabei Wie ist die Situation genau Wie sind die Abl ufe und Zusammenarbeiten geregelt Was oder wer f rdert oder k nnte behindern Welche M glichkeiten sehen die Beteiligten die Abl ufe zu optimieren NEUE FERSPEKTINEN Es ist m glich dass ein Projekt aufgrund verschiedener Rahmenbedingungen schneller voran kommt als geplant Abl ufe vollziehen sich reibungslos die Pilotphase kommt bei der Bev lkerung gut an die technische Umsetzung ist leichter als gedacht oder das Wetter beg nstigt die Ausf hrung Viele dieser Treiber k nnen nachdem sie erkannt und erfasst wurden noch st rker f r die Erreichung der Projektziele nutzbar gemacht werden Jedoch tauchen in der Praxis deutlich mehr Hindernisse auf als im Vorfeld bedacht werden konnten Das Projekt verz gert sich kommt nur schleppend voran und alles dauert l nger als geplant Wichtige Praxispartner k nnen aussteigen und manchmal wird die Finanzierung eng Die ffentlichkeit reagiert z gerlich die Presse kritisch Folglich geraten die Verantwortlichen unter Druck und eine erfolgreiche Umsetzung des Projekts wird gef hrdet Zudem ist ein vorausschauendes Erkennen und Bewerten von Widerst nden und Treibern eine wichtige Absch tzung von Risiken Eine begleitende Prozessevaluation kann dann auf fast alle sich ver ndernden Rahmenbedingungen zeitnah reagieren Fortschritte aber auch Verz gerungen werden rechtzeitig erkannt so dass die Proj
125. nalyse Es gibt eine kostenlose Testversion f r 21 Tage Statistische Auswertung und Analyse mit SAS STAT Software http wwu sas com offices europe germany software analytics index html Die Software richtet sich in erster Linie an Fachanwender Laut Firmenangaben ist sas Analytics die weltweit mit Abstand leistungsf higste Analyseumgebung Statistische Auswertung und Analyse mit http wwn r project org R ist eine freie Programmiersprache f r statistisches Rechnen und statistische Grafiken R l uft in einer Kommandozeilenumgebung und ist daher nur f r Ge bte einsetzbar Die Software kann kostenlos von der Internetseite herunter geladen werden Hinweise f r die Benutzung bietet u a MANDERSCHEID KATHARINA 2012 Sozialwissenschaftliche Datenanalyse mit R Wiesbaden VS Verlag f r Sozialwissenschaften Khan Academy http www khanacademy org Kostenlose Sammlung von kurzen Tutorials und Videos in englischer Sprache Stat Trek http stattrek com Kostenlose Sammlung von kurzen Tutorials und Videos zu Statistik und Algebra in englischer Sprache Statistika ist ein kommerzielles Datenanalyseprogramm der Firma StatSoft Auch hier k nnen alle wesentlichen statistischen Analysem sglichkeiten f r eine quantitative Auswertung genutzt werden http www statsoft de Die Softwarefirma Stata Corp bietet ein kommerzielles Statistikprogramm das komplexe Daten s tze verarbeiten kann Auch dieses
126. nd anpassen Die vereinheitlichte Schulumgebung wirkt sich auf die durchschnittliche Fahrzeuggeschwindigkeit in der Schulumgebung aus da die Autofahrenden Geschwindigkeitsbeschr nkungen bewusster wahrnehmen und einhalten Dadurch wird die Aufmerksamkeit insgesamt erh ht dies wiederum zeigt Wirkungen auf die wahrgenommene und tats chliche Sicherheit und den Verkehrsfluss Die Sch lerinnen und Sch ler werden durch die Schulleitung ermutigt mit dem Fahrrad oder zu Fu zur Schule zu kommen um den Hol und Bringverkehr durch die Eltern zu minimieren Langfristig zielen die eingef hrten Ma nahmen darauf ab die Verkehrsmittelwahl in Richtung nachhaltige Verkehrstr ger zu verschieben und damit einen Beitrag zur verbesserten Lebensqualit t zu leisten Diese langfristigen Ziele entsprechen dem Gesamtplan zur urbanen Mobilit t der darauf 16 abzielt nachhaltige Verkehrstr ger zu st rken und die Sicherheit im st dtischen Stra enverkehr zu verbessern F r das Formulieren von eindeutigen ma nahmenspezifischen Zielen ist der SMART Ansatz hilfreich Abb 2 2 ZIELE UND UMFANG DEFINIEREN SMART DIMENSIONEN Spezifisch Ist das Ziel spezifisch konkret exakt eindeutig verst nd lich Messbar Ist es bei diesem Ziel m g lich den Erfolg oder Misserfolg der Ma nahme zu messen Was ist der Beweis f r einen Erfolg Ausf hrbar Sind die gesetzten Ziele erreichbar Beispiel Einheitliche Schulumgebungen
127. nd eingegeben Diese Art der Daten eingabe wird f r eine kleine Zahl von F llen und bei relativ kurzen Frageb gen empfohlen bis zu F lle mit Variablen Der Prozess der Dateneingabe ist zeitaufw ndig arbeitsintensiv und leider auch fehleranf llig Das liegt daran dass die Dateneingabe hochkonzentriert erfolgen muss Aber Finanzielle und technische Einschr nkungen bei vielen Projekten lassen keine andere Wahl als die Daten z B in Microsoft Excel einzugeben In diesen F llen ist es oft sinnvoll die Dateneingabe in einem Team von zwei Personen durchzuf hren Eine Person liest die Zahlen laut vor und die andere gibt diese ber die numerische Tastatur ein Alternativ k nnen stichprobenartig Kontrollen durch eine weitere Person durchgef hrt werden Im Beispiel Abbildung 3 1 wird davon ausgegangen das die Befragung mit Hilfe eines schriftlichen Fragebogens paper amp pencil und anschlie end die Dateneingabe per Hand vorgenommen wurde Dies ist sicherlich immer noch die am weitesten verbreitete Durchf hrung doch wird sich das mit der zunehmenden Verf gbarkeit von preiswerten Computern und Tablets der weiteren Vereinfachung von Onlinefrageb gen sowie vor allem der zur Verf gung stehenden Software ndern Die direkte Dateneingabe durch die Befragten selbst spart eine Menge Zeit Sie kann auf unterschiedliche Weise erfolgen Idealerweise gibt es eine programmierte Eingabemaske ber Software wie Data Entry oder Mi
128. nder in Beziehung gesetzt Informationen k nnen in diesem Fall objektive Messergebnisse sein z B die Konzentration von Luftschadstoffen oder ein L rmpegel Daten und Fakten wie der Preis eines Parkscheins oder die Anzahl an Parkpl tzen Statistiken wie Unfallh ufungen oder in Bussen bef rderte Passagiere an bestimmten Tagen Relevante Informationen k nnen aber auch subjektive Bewertungen wie der Komfort eines Sitzes in der S Bahn die Zufriedenheit mit einer Beratung oder die wahrgenommene Sicherheit auf den Gehwegen vor einer Schule sein Die Entscheidung dar ber welches ein relevantes oder angemessenes Beurteilungskriterium ist h ngt von der Ma nahme und dem damit verbundenen Ziel ab Es ergibt beispielsweise wenig Sinn die Geschwindigkeit einer inner rtlichen Stra enbahn zu messen wenn das Ma nahmenziel die Erh hung der Auslastung ist Falls es aber darum geht den L rmpegel zu senken oder die Taktfre quenz deutlich zu erh hen kann die Geschwindigkeit wichtige Hinweise geben Diese Information alleine wird aber nicht ausreichen um zu beurteilen ob die Ziele aus diesem Beispiel erreicht wurden Es m ssen weitere sinnvolle Indikatoren oder Kriterien gefunden werden In aller Regel werden daher mehrere Kriterien zur Bewertung einer Ma nahme herangezogen Eine Evaluation findet nicht nur zu einem Zeitpunkt statt sondern ist im Idealfall ein kontinuierli cher Prozess Sie startet bereits in der ersten Planungsphase und begleitet da
129. ne Befragung ber facebook starten erreichen Sie nur die facebook Nutzenden und nicht diejenigen die dort nicht angemeldet sind Andererseits gibt es auch wesentliche Vorteile Die Ergebnisse gelangen normalerweise direkt in eine Datenbank wodurch auf die Antworten sofort zugegriffen werden kann Die Umfragen sind auch relativ g nstig durchzuf hren da es bereits zahlreiche Plattformen f r die Durchf hrung und Pr sen tation von Online Frageb gen gibt z B survey monkey esurveys pro NetQ und QuestionPro Die Umfragen k nnen auf die spezielle Anwendung angepasst werden wodurch allgemeine Aussagen wie beispielsweise wenn nicht weiter mit Nummer vermieden werden k nnen Skalen Es gibt vier verschiedene Arten von Skalen die im Folgenden kurz vorgestellt werden Je nach Skala sind in der sp teren Auswertung unterschiedliche Rechenoperationen oder statistische Verfahren zul ssig anwendbar Die Nominalskala erm glicht eine Unterscheidung zwischen Gleichheit und oder Verschiedenheit Mit der Ordinalskala k nnen Objekte geordnet werden Bei einer Intervallskala sind die Unterschiede zwischen zwei aufeinanderfolgenden Objekten gleich gro Die Verh ltnisskala enth lt einen nat rli chen Nullpunkt Der gemessene Wert o zeigt die aktuelle Abwesenheit der gemessenen Eigenschaft Aussagen zu Nominal Gleichheit Geschlecht z B m nnlich weiblich Wahl des Verkehrsmittels z B skala Ungleichheit zu Fu Fahrrad Au
130. nf hrung in die Software MANDERSCHEID KATHARINA 2012 Sozialwissenschaftliche Datenanalyse mit R Wiesbaden VS Verlag f r Sozialwissenschaften Wer mit der freien Software R arbeitet hat mit diesem sehr kosteng nstigen Buch ein n tzliches Nachschlagewerk aber auch eine Art Lehrbuch das Schritt f r Schritt durch die Datenauswertung f hrt Das Buch richtet sich explizit an SozialwissenschaftlerInnen und deren spezifische Daten und Analysetechniken RUMSEY DEBORAH 2010 Statistik f r Dummies 2 berarbeitete Auflage Indianapolis Wiley Publishing Dieses Buch zeigt dass die Auswertung und Interpretation von quantitativen Daten Spa machen kann SCHNELL RAINER HILL PAUL B ESSER ELKE 2013 Methoden der empirischen Sozialforschung M nchen Oldenbourg Verlag Der Band beschreibt die Erhebungsmethoden des quantitativen Forschunsgsstils und geht auf die wissenschafts und messtheoretischen Hintergr nde ein Das Lehrbuch gibt einen pr gnanten und fundierten berblick ber Hypothesengenerierung Stichprobenplan etc Software f r Online Erhebungen Inzwischen gibt es ein vielf ltiges Angebot von Softwaretools um Onlineerhebungen zu entwerfen und diese f r die Umfrage zu ver ffentlichen Einen generellen berblick bietet die folgende Seite http www gesis org unser angebot studien planen online umfragen software fuer online befragungen freie software open source Weitere Anbieter esurveys pro http
131. nline Inter netgest tzte Befragung in der Praxis Wiesbaden VS Verlag Dieses Buch gibt eine detaillierte und praxisnahe Einf hrung in die Konzeption Durchf hrung und Auswertung von Online Befragungen mit verschiedenen Methoden WIDMER THOMAS BEYWL WOLFGANG FABIAN CARLO HG 2009 Evaluation Ein systematisches Handbuch Wiesbaden VS Verlag Ein systematischer Vergleich der Evaluationspraxis in Deutschland sterreich und der Schweiz in verschiedenen Themenbereichen wie Bildung Energie und Umweltpolitik Gesundheit und Raument wicklung 9 2 Webseiten Auf der Webseite der L nderinitiative Kernindikatoren 1 http wwnu lanuv nrw de liki newsletter index php mode home werden verschiedene umweltspezifische Nachhaltigkeitsindikatoren aufgelistet inklusive deren Bedeutung und etwaigen Zielstellungen Diese werden regelm ig aktualisiert Man kann dort z B vergleichen wie der Jahresmittelwert bei der Luftqualit t des jeweiligen Bundeslandes liegt und welche Ziele angestrebt werden Centrum f r Evaluation CEval der Universit t des Saarlandes http wwn ceval de Das Centrum f r Evaluation CEval ist ein wissenschaftliches Institut der Universit t des Saarlandes das grundlagen und anwendunssorientierte Forschung im Bereich der Evaluation betreibt Evaluati onen aller Art durchf hrt und Beratungsleistungen sowie Aus und Weiterbildungsma nahmen in den Themenfeldern Monitoring und Evaluation anbi
132. nn fortlaufend die Durch f hrung bis zum Ende der Ma nahme ggf sogar dar ber hinaus Ein Beispiel aus Evalstadt Zur Reduktion der PKW Nutzung wird ein von Medien begleiteter Selbstversuch Ein Monat ohne Auto initiiert Bewohnerinnen und Bewohner von Evalstadt lassen einen Monat lang freiwillig ihr Auto stehen und nutzen stattdessen nur alternative Fortbewegungs mittel Der Selbstversuch soll mit Erfahrungsberichten der Teilnehmenden dieser Aktion in der Lokalzeitung und im Lokalradio dokumentiert werden Als ein Erfolgskriterium wird die Anzahl der Teilnehmenden an dieser Ma nahme definiert es sollen mindestens 30 sein Die Kampagnenor ganisation bewirbt die Aktion in den lokalen Medien mit Plakaten und sie schreibt lokale Vereine an In diesem Beispiel wird nun die Wirksamkeit der Werbemaf nahmen auf die Zahl der Aktions teilnehmenden berpr ft Acht Wochen vor dem Start wird die Zahl der Interessenten kontrolliert Sind dann erst zw lf Interessierte und acht verbindliche Anmeldungen f r die Teilnahme an der Kampagne zu verzeichnen m ssen weitere Ma nahmen zur Bewerbung unternommen werden z B pers nliche Ansprachen im Wohnviertel Fu g ngerzone etc Ab sofort kann und muss die Kontrolle der Anmeldezahlen in viel k rzeren Abst nden durchgef hrt werden immer mit dem Ziel die 30 zu erreichen Das Beispiel soll verdeutlichen dass Evaluation nicht mit Pr fung Controlling oder Monitoring verwechselt werden darf Diese Begrif
133. nnte bipolare Skala ist die Likert Skala Die Form einer typischen Likert Skala mit f nf Stufen ist trifft nicht zu trifft eher nicht zu weder trifft eher zu trifft zu Eine Skala mit nur vier Optionen verzichtet auf die mitt lere Option weder noch Dies bringt die Antwortenden dazu sich f r eine Richtung zu entscheiden Die folgenden Tipps helfen beim Erstellen eigener Skalen Nicht mehr als sieben Werte auf einer Skala einsetzen Studien zeigen dass Menschen kaum in der Lage sind ihren Standpunkt auf einer Skala von mehr als sieben M glichkeiten einzutragen Es gibt aber keine perfekte Anzahl sie h ngt von der Frage ab Am h ufigsten genutzt werden F nf Vier und Drei Punkt Skalen Nummerierte Skalen bringen ungenauere Ergebnisse Skalen die nur numerisch gekennzeichnet sind z B 1 bis 5 bringen ungenauere Ergebnisse als Skalen mit einer verbalen Kennzeichnung wie z B gut oder schlecht Bei Verwendung nummerierter Skalen werden zus tzliche verbale Erl ute rungen empfohlen z B sehr gut ber der 1 zufriedenstellend ber der 3 und mangelhaft ber ders Gr e und Auswahl der Stichproben Es ist wichtig die Gr e der ben tigten Stichprobe bereits im Vorfeld sorgf ltig zu bestimmen Je mehr ausgef llte Frageb gen Sie erhalten desto gr er ist zwar die Sicherheit aber desto h her sind die Kosten Daher gilt es maximale Sicherheit zu minimalen Kosten zu e
134. ntworten sehr individuell ist z B also bei Fragen nach pers nlichen Eindr cken Geschlossene oder standardisierte Fragen geben m gliche Antworten oder Antwortkategorien vor und werden oft durch Ankreuzen beantwortet Eine typische Frage w re Kennen Sie das neue Tage sticket und m gliche Antwortkategorien w ren ja nein keine Angabe Eine Mischung aus standardisierten und offenen Fragen bietet sich in der Praxis oft an und so k nnen die Vorteile beider Fragearten genutzt werden vergleiche auch Abschnitt zu Skalen weiter hinten Bevor ein eigens f r die Ma nahme entwickelter Fragebogen breit verteilt wird sollte er in jedem Fall in einem Vortest erprobt werden Dazu wird der Fragebogen an eine kleine Stichprobe verteilt und anschlie end ausgewertet So k nnen eventuell missverst ndliche Fragen oder fehlende Antwortkate berarbeitet werden Kasten 5 Codierung der Fragebogen p bei abh ngigen Stichproben Frageb gen m ssen aus Gr nden der Datensicherheit und des Datenschutzes anonym bleiben Wenn f r ein Paneldesign die gleichen Personen zwei oder mehrfach befragt werden sollen muss es aber m glich sein die verschiedenen Frageb gen in der Analyse der gleichen Person zuzuordnen Daher bittet man die Befragten vor dem Ausf llen um die Erstellung eines individuellen Codes der die Anonymit t wahrt aber nicht vergessen werden kann F r einen sechsstelligen Code empfehlen wir folgende F
135. otizen aus der Dateneingabe zu vergleichen F r die Berichtlegung kann es hilfreich sein eine Zusammenstellung der Antworten in einer Tabelle vorzunehmen F r einzelne Kategorien k nnen auch relevante Zitate genutzt werden Dies erleichtert den Leserinnen und Lesern das Verst ndnis Insbesondere bei Expertenbefragungen oder l ngeren Einzelinterviews kann es sehr n tzlich sein die interviewte n Person en um eine abschlie ende Pr fung und Kommentierung zu bitten Dies kann Fehlinterpretationen vermeiden Auch hier gilt es wieder die Datenschutzrichtlinien stets zu ber cksichtigen 3 4 Ergebnisdiskussion Was bedeuten alle diese Daten f r die verkehrsbezogene Ma nahme f r die Stadt und ihre Bev lke rung Der letzte Schritt der Auswertung gilt der Interpretation der Ergebnisse und dem Ausblick Es hat sich f r Berichte ob m ndlich oder schriftlich bew hrt die Pr sentation der Daten von der Diskussion der Ergebnisse zu trennen Zun chst werden also die relevanten Fakten m glichst objektiv durch Indikatoren Messgr en Parameter und erkl rende Texte dokumentiert z B die Zahl der 47 Unf lle vor Schulen pro Jahr f r die letzten 6 Jahre Erst im n chsten Schritt im Bericht ist das ein eigenes Kapitel erfolgt eine Wertung der Ergebnisse einschlie lich der Einsch tzung in welchem Umfang die Ziele erreicht wurden und in welchem Ma die Ma nahmen zur Zielerreichung beitrugen Der Grund f r eine voneinander get
136. prechend des Skalenniveaus der untersuchten Variablen kategorisiert Die bisher vorgestellten Auswertungen beziehen sich nur auf die tats chliche Stichprobe Wie k nnen aus diesen Daten R ckschl sse auf ganze Populationen z B auf die Einwohner eines Stadt teils oder der ganzen Stadt gezogen werden Daf r verwendet man Inferenzstatistik schlie ende Statistik Die schlie ende Statistik stellte Hypothesen auf die f r die gesamte Population gelten sollen und pr ft diese G ltigkeit f r die Stichprobe Voraussetzung ist dass die Stichprobe durch eine Zufallsauswahl gewonnen wurde siehe Kapitel 2 4 auf Seite 23 Nur bei Zufallsstichproben haben die statistischen Einheiten einer Population wie Kugeln in einem undurchsichtigen Beh lter eine berechenbare Wahrscheinlichkeit als Teil der Stichprobe gew hlt zu werden Dabei muss jedes Element der Population die gleiche Chance haben in das Auswahlverfahren einbezogen zu werden Bei der schlie enden Statistik kommen verschiedene statistische Testverfahren zum Einsatz Die Wahl h ngt wieder vom Skalenniveau ab Manche Testverfahren erfordern beispielsweise eine spezielle Verteilung z B Normal Gau Verteilung F r mobilit tsbezogene Evaluationsverfahren ist oft die Korrelation zwischen zwei oder mehr Gruppen von Bedeutung Die am h ufigsten verwendeten Testver fahren in diesem Zusammenhang sind der t Test und der Chi Quadrat Test sie werden in den n chsten Schritten vorgestellt N
137. ragen 1 Erster Buchstabe des Geburtsnamens der Mutter 2 Letzter Buchstabe des eigenen Geburtsnamens 3 Tag und Monat der Geburt Form ttmm Auf diese Weise erhalten Sie von einer Person mit dem Namen Schmidt geboren am 20 September dessen Mutter eine geborene Maier ist folgende ID MT2009 1 Was ist das Ziel Ihrer Reise Arbeitsplatz Schule Freizeit Arztbesuch Zuhause anderes Ziel 2 Wie oft benutzen Sie die Buslinie 5 7 Mal pro Woche 3 4 Mal pro Woche 1 2 Mal pro Woche 1 3 Mal pro Monat seltener 3 Wie zufrieden sind Sie mit den folgenden Elementen der Busse sehr sehr Wei unzufrieden unzufrieden weder noch zufrieden zufrieden nicht Bel ftung Sitzkomfort Abbildung 2 10 Auszug aus einem Fragebogen der in einem Bus verteilt wurde 31 Fokusgruppen Fokusgruppen sind moderierte Gruppendiskussionen mit einem bestimmten Fokus Sie werden dann eingesetzt wenn es darum geht Vertreterinnen und Vertreter auch unterschiedlicher Interessen mitei nander ins Gespr ch zu bringen Dies kann besonders n tzlich f r Bereiche oder Ma nahmen sein die komplex sind oder bei denen es wichtig ist unterschiedlichen Anforderungen verschiedener Nutzer gruppen gerecht zu werden In Fokusgruppen wird die Interaktion Kreativit t und Spontanit t der Teilnehmenden genutzt Die Moderatorin oder der Moderator stellt die Themen vor und lenkt die Diskussion durch spezifische Fragen Er oder sie fasst Ergebnisse der D
138. rennte Datenpr sentation und Interpretation liegt darin dass es den Leserinnen oder Zuh rern m glich sein soll aus dem Datenmaterial eigene Schl sse zu ziehen Eine gut ausgearbeitete und vorsichtig kritische Interpretation der Ergebnisse vermeidet Missver st ndnisse bei internen und externen Interessengruppen und macht die Daten weniger anf llig f r Pr fende und Kritisierende Dazu m ssen die Herangehensweise die Argumente und Schlussfolge rungen nachvollziehbar verst ndlich und logisch dargestellt werden DATEHINTERPRETATION UND DAS ERGEBNIS LAUTeT 42 An der Stelle ist der Bezug zu den Zielen der Ma nahme sehr wichtig siehe auch Kapitel 2 1 auf Seite 15 F hrte die Ma nahme dazu dass die gew nschten und durch Indikatoren definierten Effekte eingetreten sind Unterscheiden sich die Effekte von denen die in dem Referenzszenario einge treten sind oder w ren Wo oder f r wen war die Ma nahme erfolgreich wo nicht K nnen die Ergeb nisse auch durch andere Daten oder Beobachtungen gest tzt werden Triangulation siehe Kasten 12 Gab es eventuell weitere Einflussfaktoren die das Ergebnis beg nstigten welche aber bei der Planung der Evaluation nicht ber cksichtigt wurden Falls sich die gew nschten Ergebnisse oder Effekte der Ma nahme nicht zeigen ist eine ebenso sorgf ltige und ehrliche Auswertung und Diskussion n tig Welche Erkl rungen oder Gr nde gibt es Kasten 12 Triangulation Die in der Evalua
139. rgebnisse und Effekte einschlie lich der Wirkungsevaluation Diskussion der Ergebnisse im Hinblick auf die gesetzten Ziele Zusammenfassung Grunds tzlich hilft bei der Erstellung sich Gedanken ber die sogenannten W Fragen zu machen Dazu geh ren A Was m chten Sie sagen Was genau ist der Inhalt des Berichts Wird die Ma nahme mit den Effekten beschrieben Geht es um den Prozess Stehen die berwundenen Schwierigkeiten im Vordergrund oder der Nutzen f r die Zielgruppen B Weshalb m chten Sie es sagen Was ist das Ziel des Berichts Dient er der internen Dokumentation oder dem Nachweis der Mittel verwendung Soll er anderen als Anregung oder Entscheidungsgrundlage dienen Soll er zu einem Wissens oder Technologietransfer anregen Soll er andere zum Handeln motivieren Oder geht es um eher organisatorische und administrative Fragen C Wer sind die Zielgruppen und welche Informationen ben tigen sie An wen richtet sich der Bericht prim r Richtet er sich an die kommunale Verwaltungsspitze oder andere Entscheidungstr ger Oder adressiert er die Bev lkerung die ffentlichkeit die Nutznie er des Vorhabens Welche Informationen ben tigen diese Zielgruppen und welches Vorwissen haben sie Diese Entscheidungen haben ma geblichen Einfluss darauf ob der Bericht in der Fachsprache verfasst werden kann oder besser in allgemeinverst ndlicher Sprache sein sollte 60 D Wie m chten Sie den Bericht vermitteln Wie kann die Botsc
140. rhalten Die statistische Sicherheit wird von vier Faktoren bestimmt die im Folgenden vorgestellt werden Gr e der Stichprobe F r eine Umfrage ist die Grundgesamtheit aller Personen ber die eine Aussage getroffen werden soll von Bedeutung das ist die so genannte Population Da in aller Regel nicht alle Personen befragt werden k nnen oder sollen gilt es aus dieser Gesamtgruppe eine Stich probe auszuw hlen die quasi stellvertretend f r alle antworten Die f r die Fragestellung optimale Gr e der Stichprobe kann mathematisch berechnet werden Faustregeln f r die Sch tzung von Zufallsstichproben werden in Kasten 8 vorgestellt Da erfahrungsgem nicht alle Personen auf eine Befragung antworten die so genannte Antwortquote also nie 100 betr gt m ssen entsprechend mehr Personen befragt werden damit die erforderliche Stichprobengr e erreicht wird Das folgende Beispiel spielt dies durch In Evalstadt gibt es ein Parkraummanagementsystem Im Stadtteil A gibt es 4 000 Kraftfahrzeug halter das ist die Population des Stadtteils F r eine Umfrage zu der Funktionalit t einer neuen Online App soll die Netto Stichprobengr e 400 betragen Dazu werden aus den 4 000 Haltern per Zufall 700 die so genannte Bruttostichprobe zur Teilnahme an einer Online Umfrage ausgesucht und angeschrieben 420 f llen den Fragebogen aus damit betr gt die Antwortquote 60 und die Netto Stichprobengr e ist erreicht Generell ist eine m glichst
141. rstellen 5 70 7 Das allerletzte 72 e 72 Literatur und a a a a ten 75 9 1 Kommentierte Literaturliste zu Evaluationen 75 a WED 76 9 3 Kommentierte Literaturliste zu Datenerhebung und Analyse 77 Software f r Online Erhebungen 5 78 Software f r die Datenauswertung 5 78 Software f r qualitative Datenauswertung 5 79 8 2 DALENSCHUI 2 anne gt ET 79 95 Allgemeine aaa ro 79 10 Vorhandenes Datenmaterial und Statistiken 80 10 1 Einwohner und 80 10 2 een nee 80 Luftschadstoffe S 80 L rm S 80 Treibhausgas S 81 103 Kaltllahrzeiisdaten 22244559 210 01a ee ea 81 10 4 Verkehrsdaten 81 Stra enverkehrsz hlungen Stra endatenbanken Unfallstatistiken S 81 Statistiken f r den ffentlichen Personenverkehr 5 81 10 5 Verhaltensdaten er aeg 81 Mobilit t in Deutsc
142. rteilung F r ihre Berechnung werden intervallskalierte Daten ben tigt Die Varianz zeigt den Unterschied zwischen den Werten einer gegebenen Verteilung Sie wird be rechnet in dem die Summe der quadrierten Abweichungen vom arithmetischen Mittel durch die Anzahl der Messwerte geteilt wird Die Standardabweichung wird als Quadratwurzel der mittleren quadratischen Abweichung Varianz definiert Sie ist der wichtigste quantitative Wert f r Variabilit t der Daten und f r weitere statistische Methoden z B statistische Testverfahren notwendig In dem Beispiel soll nun berpr ft werden ob Frauen und M nner die Stadtbusse unterschiedlich h ufig nutzen 5 7 Tage H ufigkeit 176 296 472 pro Woche Prozent 37 3 62 7 100 0 3 4 Tage H ufigkeit 64 122 186 pro Woche 34 4 65 6 100 0 Wie oft nutzen Sie 1 2 Tage H ufigkeit 33 53 86 die Stadt pro Woche Prozent 38 4 61 6 100 0 busse 1 3 Tage H ufigkeit 12 28 40 im Monat Prozent 30 0 70 0 100 0 H ufigkeit 11 18 29 Seltener Prozent 37 9 62 1 100 0 Tabelle 3 4 Beispiel Kontingenztabelle Wie oft nutzen Sie die Stadtbusse Die statistische Datenanalyse bietet die M glichkeit Zusammenh nge zu beschreiben das geschieht durch die Berechnung des so genannte Korrelationsma es Gibt es beispielsweise einen Zusammen hang zwischen dem Geschlecht dem Alter dem Autobesitz und der Nutzung des Stadtbusses Das Ma des Zusammenhangs wird ents
143. sdesign wird festgelegt wo wann und wie oft und mit welchen technischen personellen und finanziellen Rahmenbedingungen die Evaluation durchgef hrt wird um die n tigen Daten zu sammeln Die Auswahl eines bestimmten Designs wird h ufig durch notwendige Abw gungsprozesse zwischen Kosten und der Zuverl ssigkeit der Ergebnisse beeinflusst Allgemein gilt Je mehr Sicherheit Sie bez glich der Ergebnisse und Auswirkungen Ihrer Ma nahmen ben tigen desto aufw ndiger wird die Evaluation In vielen F llen stehen bereits ausreichende Daten aus verschiedenen Quellen zur Verf gung und k nnen in das Evaluationsdesign einbezogen werden siehe Kapitel 10 auf Seite 80 Diese m ssen analysiert und mit den Ma nahmenzielen und der Wahl der Indikatoren z B Unfalldaten der Polizei Daten zur Verkehrsdichte von den Stra enplanungs mtern Daten zur Luftqualit t von den Umwelt beh rden verkn pft werden Es gibt deutliche Unterschiede der Evaluationsdesigns zwischen Designs mit randomisierten Kontrollgruppen experimentellen Designs mit Vergleichsgruppe und experimentellen Designs ohne Vergleichsgruppe Diese werden im n chsten Abschnitt genauer beschrieben Neben der Planung des Evaluationsdesigns ist es notwendig die Indikatoren festzulegen f r die vorher und nachher gemessen werden soll Wichtig ist die Erhebung der notwendigen Daten f r alle relevanten Indikatoren vor der Umsetzung der Ma nahme Diese werden dann mit den Daten der Erhebung n
144. setzungen Reinbek Rowohlt Das Buch verfolgt die Zielstellung einer mehr oder minder systematischen Einf hrung die Bestandsaufnahme mit einem Beitrag zur konzeptionellen Weiterentwicklung qualitativer Evaluation Dabei werden konkrete offene Erhebungsverfahren vorgestellt Gruppendiskussionen Interviews Vignetten und beispielhafte Evaluations bzw Forschungsprojekte vorgestellt Insgesamt wird eine breite Palette von Anwendungsfeldern von der Kinder und Jugendhilfe ber Organisationsentwick lungsprozesse Umweltpolitik Hochschule Wissenschaft und Entwicklungszusammenarbeit darge stellt Forschungsgesellschaft f r Stra en und Verkehrswesen Arbeitsgruppe Verkehrsplanung Hg 2012 Hinweise zur Evaluation von verkehrsbezogenen Ma nahmen K ln FGsv Verlag GmbH Eine kurz gehaltene bersicht ber die Kernpunkte der Evaluation von verkehrlichen Ma nahmen f r Personen mit Vorwissen in der quantitativen und qualitativen Datenerhebung und auswertung F RST DIETRICH SCHOLLES FRANK Hg 2007 Handbuch Theorien und Methoden der Raum und Umweltplanung Detmold Rohn Verlag Das Lehrbuch wendet sich Studierende der Planungswissenschaften Insbesondere der zweite Teil des Bandes ist f r eine Evaluation interessant hier werden Methoden der Zielformulierung und Bewer tung z B Pr ferenzmatrix Relevanzbaum Nutzwertanalyse etc f r die Anwendungs gebiete der Raum und Umweltplanung knapp
145. sollte Fragen zu Zielen Methoden und m glichen Ergebnissen beantworten Experimentalgruppe Goldstandard Indikator Kategorien Kontrollgruppe Management Zusammen fassung Ma nahme Mittelwert Modal Split Monitoring Panel Panel Design experimental group gold standard indicator categories control group management summary measure mean modal split monitoring panel panel design Versuchsgruppe bei der die Versuchsvariable manipuliert wird Die erhobenen Daten werden mit der einer zweiten Gruppe Vergleichs oder Kontrollgruppe verglichen Den Goldstandard erf llen Evaluationen die mit einem randomisierten Kontrollgruppen Design mit Vorher Nachher Messung arbeiten Eine Messgr e die zeigt ob eine bestimmte Bedingung erf llt wird oder ob bestimmte Ziele erreicht bzw nicht erreicht wurden Werden gebildet um qualitative Daten m glichst eindeutig zu gruppieren das hilft bei der Inter pretation Gruppe von Versuchsteilnehmenden bei der die Versuchsvariable nicht manipuliert wird und die zuf llig dieser Gruppe zugeordnet wurden Die erhobenen Daten werden mit denen der Experi mentalgruppe verglichen Eine an F hrungskr fte gerichtete Zusammen fassung der Ziele Methoden und Ergebnisse der Evaluation Ein Eingriff der eine gew nschte Ver nderung bewirken soll Kennzeichnet die zentrale Lage einer Verteilung nach Skalenniveau gibt es v
146. ss_ praxis_1310 pdf F r den Bereich des Datenschutzes von qualitativen Evaluationen gibt der Band Die Qualit t qualitativer Daten Manual f r die Durchf hrung qualitativer Interviews von Cornelia Hellferich sehr gute Hinweise Der Band enth lt Mustererkl rungen zum Einverst ndnis von Probanden und entsprechende Datenschutzerkl rungen siehe Kapitel 9 3 auf Seite 77 F r den quantitativen Bereich gibt das Lehrbuch Methoden der empirischen Sozialforschung der Autoren Rainer Schnell Paul B Hill und Elke Esser konkrete Formulierungshilfen f r die Gew hrleis tung des Datenschutzes insbesondere bei standardisierten Frageb gen siehe Kapitel 9 3 auf Seite 77 9 5 Allgemeine Literatur OECD 1997 Proceedings Towards sustainable transportation The Vancouver conference Vancouver 24 27 March 1996 Vancouver SCHOLL A 2011 Motiviert durch Erfolg und Misserfolg wissens blitz 17 http www wissensdialoge de erfolg und misserfolg 80 Zeitschrift f r Evaluation ZfEv http www zfev de Die halbj hrlich erscheinende Zeitschrift behandelt theoretische methodische und konzeptionelle Fragen stellt Anwendungsbeispiele vor und diskutiert Fragen 10 Vorhandenes Datenmaterial und Statistiken Es gibt eine F lle von verf gbaren Daten die sich aber lokal in ihrer Aufbereitung unterscheiden Zu den relevanten Sekund rdaten f r mobilit tsbezogene Evaluationen geh ren Einwohner und Besch f tigungs
147. sten repr sentiert Wichtige Lageparameter sind Modalwert Median und arithmetisches Mittel siehe Kasten 9 Kasten 9 Lageparameter der zentralen Tendenz Der Modalwert oder Modus ist der Wert einer Verteilung der am h ufigsten auftritt d h die am h u figsten auftretende Kategorie Er kann auf jedem Skalenniveau bestimmt werden Der Median teilt die H ufigkeitsverteilung in zwei gleich gro e Teile Bei einer kumulierten Darstel lung markiert der 50 Wert den Median Das arithmetische Mittel ist die Summe der Messwerte geteilt durch die Anzahl der Messwerte Sind zwei Verteilungen hinsichtlich ihrer zentralen Tendenzen hnlich k nnen sie dennoch in Bezug auf die Streuung der einzelnen Werte sehr unterschiedlich sein W hrend der Lageparameter also angibt welcher Wert eine gegebene Verteilung am besten repr sentiert informiert das Streu ungsma ber die Unterschiede bei den Messwerten Somit dient das Streuungsma einer genaueren Beschreibung der Verteilung und quantifiziert die in der Umfrage erkannten Unterschiede Spannweite Varianz und Standardabweichung sind die h ufigsten Streuungsma e siehe Kasten 10 Kasten 10 Arten von Streuungsma en Die Spannweite oder Variationsbreite umfasst den gesamten Bereich der Variationen aller Messwerte Sie wird als Differenz zwischen dem maximalen und dem minimalen Wert definiert Die Varianz und die Standardabweichung sind die h ufigsten Kennzahlen einer Ve
148. t teure und manchmal m hsame Aufgabe die mit vielen Akteuren abgestimmt und durchgef hrt werden muss Sie sollten daher eine m glichst gro e Wirkung erzielen Viele unterschiedliche Faktoren werden sich im Laufe der Planung und Umsetzung als f rdernd oder auch als hemmend herausstellen Es gilt diese bereits im Vorfeld zu erkennen und die Folgen bei der Planung in angemessener Weise zu ber cksichtigen Die Prozessevaluation hat daher zum Ziel Erfolge der Ma nahmen so weit wie m glich zu sichern Sie dient also nicht allein der Bewertung von Prozessen sondern auch dazu m glichst effiziente Vorgehen und Verfahren im Prozess selbst zu finden Bei der Prozessevaluation werden daher fortlaufend ber den gesamten Prozess die folgenden Aspekte untersucht Ziele und Zielfindungsprozesse auf allen Ebenen Indikatoren und ihre Auswahl Entwicklung des Wirkungsmodells u a Ursache Wirkungsketten Planung und Entwicklung der Ma nahme Umsetzung der Ma nahme einschlie lich Bau oder Herstellungsphase Probebetrieb und Betrieb Das Ergebnis der Prozessevaluation ist eine Dokumentation der w hrend des Projekts eingetretenen Ereignisse Sie hilft Entscheidungen und Lernerfahrungen nachvollziehbar zu machen f r Prozess beteiligte und f r weitere Interessierte Dies kommt dem Projektablauf und der Zielerreichung zugute Sie stellt au erdem fundierte Argumente f r die politischen Entscheidungen die Verwaltungen und die ffentlichkeit b
149. ten darzustellen Im Beispiel Abb 5 1 werden kategorisierte H ufigkeiten berichtet In der berschrift ist dokumentiert wie viele Personen an der Befragung teilnahmen in diesem Fall 813 Eine solche Angabe ist vor allem dann wichtig wenn in der Grafik Prozentangaben berichtet werden die Fallzahlen also dort nicht abgelesen werden k nnen Die H ufigkeiten werden durch vertikale oder auch horizontale Balken oder S ulen dargestellt daher auch die deutschen Begriffe Balken oder S ulendiagramm F r eine zus tzliche Veranschau lichung kann auch ein Polygon hinzugef gt werden Dies wird durch Verbinden der oberen Mitte der Klassen S ulen durch gerade Linien erzeugt Wie oft benutzen Sie diese Buslinie N 813 70 60 50 40 30 20 Prozent 10 5 7 Tage 3 4 Tage 1 2 Tage 1 3 Tage seltener pro Woche pro Woche pro Woche pro Monat Abbildung 5 1 Beispiel f r die Darstellung der Ergebnisse durch Histogramm S ulendiagramm und Polygon Kreisdiagramme auch Kuchen oder Tortendiagramme genannt werden f r die bildliche Darstel lung von Anteilen oder Gr enverh ltnissen verwendet Sie sind dann gut lesbar wenn die St cke unterschiedlich farbig markiert werden Es sollten nicht zu viele oder zu kleine Anteile sein da sich das negativ auf die Lesbarkeit auswirkt Im nachfolgenden Beispiel Abb 5 2 wird der jeweilige prozen tuale Anteil von Frauen und M nnern einer Stichprobe mit 813 Personen dargestellt 61 62
150. tende vergeben wird sollte mit Hilfe von Vertr gen sichergestellt werden wann wer wie und welche Daten liefert 6 3 Die Qualit t einer Evaluation erh hen Es gibt zwar viele Herausforderungen bei der Gestaltung und Durchf hrung einer hochwertigen Evaluation aber es gibt auch bew hrte Strategien die die Qualit t st rken und Wege aufzeigen zuk nftige Hindernisse zu berwinden Realistische Erwartungen formulieren Nur durch die Evaluation alleine werden Arbeitsabl ufe Projekte und Ma nahmen nicht besser Eine Evaluation macht also aus einem schwachen nicht automatisch ein starkes Projekt Es bedarf auch der notwendigen Entscheidungen zur Anpassung Realistische Abl ufe planen Es ist nichts gewonnen wenn f r die Planung und Durchf hrung der Evaluation zu kurze Zeitr ume zu Verf gung stehen Ver nderungsprozesse ben tigen immer eine gewisse Zeit Es muss z B auch m glich sein Ergebnisse erst einmal sacken zu lassen bevor sich die Beteiligten zu Ver nderungen in einem Projekt entschlie en k nnen R ckmeldungen geben und einholen Formelle und informelle R ckmeldungen helfen dabei alle Projektbeteiligten an Bord zu halten Wie geht es den Beteiligten mit der Evaluation Sind sie mit den Abl ufen zufrieden Sp ren sie den Nutzen der Evaluation oder empfinden sie diese als Last R ckmeldungen sollten immer konstruktiv sein Pers nliche Bewertungen oder Kritik sollten sehr sparsam verteilt werden und auch
151. thode erg nzt daher die rein technische oder bauliche Perspektive sehr gut Mit Hilfe dieser Liste k nnen auch weitere Ma nahmen geplant werden wie zum Beispiel eine begleitende Informationskampagne zur Einf hrung der Ma nahme Handlungs oder Gebrauchsanweisungen ein Anreizsystem zum Mitma chen die Kommunikation zum R ckmelden der Erfolge und Effekte der Ma nahme usw Das Aufstellen einer Ursache Wirkungskette und die Analyse der Zielgruppen ist keine l stige bung oder gar Zeitverschwendung sondern wichtiger Bestandteil einer Evaluation Sie kommen auch nach der Analyse der Ergebnisse wieder zum Einsatz da sie bei der Interpretation der Ergebnisse und zur Planung weiterer Ma nahmen hilfreich sind 2 3 Indikatoren Nach dem Festlegen der Ziele und dem Beschreiben der Ursache Wirkungsbeziehungen werden im dritten Schritt die wichtigsten Indikatoren ausgew hlt Indikatoren sind Messgr en die m gliche Wirkungen der Ma nahme unter dem gegebenen Budget am besten nachweisen Bei der Auswahl von Indikatoren sollten drei grundlegende Anforderungen ber cksichtigt werden Die Leistung oder Wirkung der Ma nahme muss damit erfasst werden k nnen siehe Kapitel 2 2 auf Seite 18 sie m ssen zu den Zielen passen siehe Kapitel 2 1 auf Seite 15 und es muss Methoden oder Verfahren geben mit denen sie verl sslich gemessen werden k nnen siehe Kapitel 2 5 auf Seite 29 Es gibt verschiedene Einzelindikatoren oder auch Indikatorensets
152. tion verwendeten Daten stammen normalerweise aus mehreren Quellen und die Ergebnisse der Datenanalyse werden gegeneinander abgewogen oder miteinander verglichen Dieses Verfahren wird Triangulation genannt kann die Zuverl ssigkeit der gewonnenen Daten sichern und methodisch richtige Schlussfolgerungen unterst tzen Die Triangulation wird f r Datenerhebungsme thoden Unterschiede bei den angewendeten Methoden aber auch f r Informationsquellen Sammeln von Informationen aus unterschiedlichen Befragungsgruppen verwendet Durch die Kombination meh rerer Methoden und Datenarten k nnen die Nachteile und Unsch rfen bei den einzelnen Methoden ausgeglichen werden 4 Prozessevaluation Im Gegensatz zur Wirkungsevaluation die erst nach Umsetzung der Ma nahme komplettiert werden kann begleitet die Prozessevaluation die gesamte Ma nahme einschlie lich der Entwicklungsphase von Anfang an Das Ziel ist somit bereits in einem sehr fr hen Stadium der Planung schrittweise alle Abl ufe zu durchleuchten um Hindernisse und Schwierigkeiten w hrend der Umsetzungsphase und dar ber hinaus m glichst zu minimieren Im Idealfall ist die Prozessevaluation also keine zus tzliche Aktivit t sondern ein fester Bestandteil einer Ma nahme Besonders f r die Ma nahmen der kommunalen Verkehrsplanung gilt dass h ufig sehr viel Zeit zwischen der ersten Idee und der tats chlichen Umsetzung oder Inbetriebnahme liegt Oft vergehen Jahre Es ist also normal
153. tistiken Modal Split Anzahl zugelas sener Kraftfahrzeuge in einem bestimmten Gebiet Luftqualit t Passantenstr me Fahrgastzahlen im ffentlichen Nahverkehr Anzahl der Ticketverk ufe Fahrgastbefragungen und so weiter Datenquellen f r eine Evaluation Prim rdaten Sekund rdaten eigens f r die Evaluation bereits vorliegende Daten erhobene Daten Werden erhoben durch Dazu geh ren Narrative Interviews Unfallstatistiken Fragebogenerhebung regelm ige Verkehrsz hlungen Fokusgruppengespr che Neu und Gebrauchtwagenk ufe Beobachtungen Falschparker Statistik Abbildung 2 9 M gliche Datenquellen f r die Evaluation So verlockend es klingt auf vorhandenes Material zur ckzugreifen so schwierig kann es auch sein Es muss sichergestellt werden dass die Sekund rdaten f r die Fragestellung wirklich relevant und zuverl ssig sind Nur weil sie verf gbar sind sind sie noch lange nicht aussagekr ftig Zudem bedeutet verf gbar nicht immer kostenlos in diesem Fall ist die Pr fung wie sinnvoll sie sind noch wichtiger Im Allgemeinen k nnen Mobilit tsdaten f r den Personentransport und den G tertransport erhoben werden F r diese beiden Verkehrsarten k nnen die erhobenen Mobilit tsdaten entweder verhaltensbezogen und oder verkehrsbezogen sein Verhaltensbezogene Daten beziehen sich immer auf das Erleben und Verhalten von Menschen Die Informationen k nnen mit Hilfe von
154. to ffentliche Verkehrsmittel usw Ordinal gr er kleiner Kundenzufriedenheit z B sehr zufrieden zufrieden weder noch skala als Beziehungen unzufrieden sehr unzufrieden Intervall Gleichheit der Unter Jahreszahlen Geburtsjahr skala schiede Startzeit Zielzeit Verh ltnis Gleichheit der Verh lt Geschwindigkeit z B 30km h Entfernung Wegstrecke in Metern skala nisse Nullpunkt oder Kilometern Tabelle 2 3 Beispiele f r die vier Arten von Skalen Kasten 7 Wahl der richtigen Skala Das menschliche Urteilsverm gen ist meistens subjektiv Um Meinungen m glichst objektiv und vergleichbar zu erfassen bieten sich unter anderem sogenannte Ratingskalen an Rating engl Einsch tzung Es wird dabei angenommen dass die einzelnen Stufen der Bewertung die gleichen Abst nde haben also intervallskaliert sind und sich das Merkmal auf einem Kontinuum beschreiben l sst Die Bewer tung kann numerisch quantitativ oder qualitativ sein Eine unipolare Skala fordert einen Befragten z B auf ein tats chliches Verhalten zu beschreiben Auf die Frage Wie h ufig nutzen Sie die Stadtbusse k nnten m gliche Antwortkategorien 5 7 Tage pro 3 4 Tage pro 1 2 Tage pro 1 3Tage im Monat seltener sein Eine bipolare Skala fordert einen Befragten auf zwischen zwei gegens tzlichen Eigenschaften zu w hlen und den relativen Anteil dieser Eigenschaften festzulegen Eine beka
155. ufallsprinzip Dazu kann eine Tabelle von Zufallszahlen oder eine rechnergest tzte Zufallsauswahl verwendet werden Wichtig ist dass ein Vergleich m glichst gleichartiger Gruppen z B in Bezug auf Alter Geschlecht und Beruf gew hrleistet ist Dann sind die Unterschiede die zwischen diesen Gruppen beobachtet werden wahrscheinlich er auf die Ma nahme zur ckzuf hren und nicht auf Unterschiede zwischen den Gruppen die bereits zu Beginn der Studie vorhanden waren Gleiches gilt auch f r die Zuordnung von Ma nahmenstandorten 2 zwei m glichst hnliche Stra en oder Schulen oder Kreuzungen Das randomisierte Experiment wird oft als Goldstandard bezeichnet weil es den h chsten Qualit tskriterien gerecht wird Beide Gruppen oder Standorte werden vor und nach der Umsetzung der Ma nahme mit den glei chen Methoden zur Datenerhebung z B Umfragen Messungen evaluiert Die Ergebnisse der Kontroll gruppe oder des Kontrollstandorts entsprechen dem Referenzszenario Ma nahmenstandort Analyse Analyse vorher nachher Kontrollstandort Analyse Analyse vorher nachher Abbildung 2 7 Datenerfassung Vorher Nachher beim Ma nahmenstandort und einem Kontroll standort Quasi experimentelle Vergleichsgruppen Bei vielen Gegebenheiten im Alltag einer Kommune ist eine zuf llige Zuordnung nicht m glich Oft geht es ja gerade darum eine nur an einem Standort geplante und umgesetzte Ma nahme zu evalu ieren Da ist es nicht m
156. ullhypothese und Alternativhypothese Statistische Testverfahren untersuchen die Frage ob die zufallsbedingte Streuung der erhobenen Messwerte ausreicht um Effekte bzw Zusammenh nge zu erkl ren Es wird die Nullhypothese aufgestellt wenn in der Grundgesamtheit eine Gleichheit von Sachverhalten angenommen wird dass hei t es keine Effekte oder Zusammenh nge mit einer Ma nahme oder anderen Variablen gibt So wird von der Nullhypothese ausgegangen wenn z B eine Mobilit tsma nahme keine Wirkung zeigt oder wenn sich zwischen Bewohnern aus ausgew hlten Wohnbezirken und deren Verkehrsmittelwahl 43 kein erkennbarer Zusammenhang ableiten l sst Das Ergebnis der Stichprobe ist dann auf eine zufalls abh ngige Streuung zur ckzuf hren Die Alternativhypothese besagt dass der in der Stichprobe gefundene Zusammenhang bzw Effekt in der Grundgesamtheit existiert Die Nullhypothese ist die Grundlage der Teststatistik Gibt es deutliche Widerspr che zwischen Nullhypothese und Messergeb nissen wird erstere zugunsten der Alternativhypothese verworfen Wird die Aussage in einer Hypothese mit einer Richtung formuliert spricht man von einer gerich teten Hypothese Eine ungerichtete Hypothese liegt dann vor wenn nur eine Differenz angegeben wird Diese Differenzierung enth lt keine Bewertung der beiden M glichkeiten siehe Tab 3 5 f r Beispiele Alternativhypothese H Nullhypothese H Gerichtete Hypothese einseit
157. und verst ndlich dargestellt GOLLWITZER MARIO J GER REINHOLD S 2009 Evaluation Kompakt Weinheim Beltz PVU Das Buch stellt anwendungsnah Einsatzbereiche und Methodik von Evaluation vor sowohl f r psycho logische als auch f r nicht psychologische Anwendunsgsbereiche G TZE WOLFGANG DEUTSCHMANN CHRISTEL LINK HEIKE 2002 Statistik Lehr und bungsbuch mit Beispielen aus der Tourismus und Verkehrswirtschaft M nchen Oldenbourg Verlag Das Lehrbuch wendet sich an Studierende interdisziplin rer Studieng nge wie der Tourismus und Verkehrswirtschaft der Wirtschaftsinformatik und des Wirtschaftsingenieurwesens Mathematische Vorkenntnisse sind jedoch nicht zwingend erforderlich Neben Statistik wird im Buch auch die Date nerhebung besprochen KUCKARTZ UDO DRESING THORSTEN R DIKER STEFAN STEFER CLAUS 2008 Qualitative Evalua tion Der Einstieg in die Praxis 2 Auflage Wiesbaden VS Verlag Am Beispiel einer von den Autoren realisierten Evaluation f hrt das Buch in die Planung und prakti sche Durchf hrung von qualitativer Evaluation ein Anhand einer Schritt f r Schritt Anleitung werden die Bestandteile eines Evaluationsprozesses von der Gegenstandsbestimmung Erhebung und Codie rung der Daten bis hin zur computergest tzten kategorienbasierten Auswertung mit Hilfe der Software MAXQDA sowie der Berichtlegung dargestellt KUCKARTZ UDO EBERT THOMAS R DIKER STEFAN STEFER CLAUS 2009 Evaluation o
158. wirken m glicherweise nicht sehr ansprechend Ein sch n und vor allem bersichtlich gestalteter Fragebogen ist mitentscheidend f r eine hohe Antwortquote und unterst tzt auch eine korrekte Beantwortung Scannen der Frageb gen mit entsprechender Software Paper amp Pencil Direkte Eingabe Online Eingabe per Hand oder ber Tablet geringe Vorarbeiten geringer Zeit und Arbeits mittlerer Zeit und Arbeits geringe technische Vor aufwand aufwand Vorteile aussetzungen Computer automatische Fehler Excel pr fung Filtereinstellungen hoher Zeit und Arbeits Vorarbeiten bei der Pro Abh ngigkeit von der Hard aufwand grammierung ware Fehler bei der Daten Erstellen einer Eingabe Gestaltung der Frageb gen eingabe maske muss systemkompatibel Nachteile Anschaffungskosten f r sein Hard und Software Frageb gen m ssen systemkompatibel ausge f llt werden kleine Anzahl von F llen Gro e Anzahl von F llen Gro e Anzahl von F llen Kurze Frageb gen Umfangreiche Frageb gen Wenige Seiten Empfohlene Wenn Frageb gen ordent Anwendung lich und zuverl ssig ausge f llt wurden Tabelle 3 2 Vergleich verschiedener Methoden zur Dateneingabe Bei der Dateneingabe empfiehlt es sich ein paar Regeln zu beachten damit es nicht zu unbeabsich tigten Manipulationen oder Verf lschungen kommt Es muss alles genau so eingegeben werden wie es im Fragebogen angegeben ist
159. zen Evaluationen dienen also der Bestimmung der Effekte einer Ma nahme dem Lernen f r k nftige Projekte sowie dem Erfahrungsaustausch Das Organisationsteam stellt vier Wochen vor dem Start der Aktion Ein Monat ohne fest dass die Zahl der Angemeldeten auf 20 gestiegen ist Bevor sie weitere Werbema nahmen planen und umsetzen evaluieren sie die Zusammensetzung der Teilnehmenden Dabei kommt heraus dass diese nicht aus allen Stadtteilen von Evalstadt kommen Insbesondere der Bezirk mit der h chsten Autonutzung ist bislang noch nicht vertreten In der Folge werden die Werbestrategien auf diesen Bezirk zugeschnitten Die Herangehensweise erweist sich als erfolgreich und am Beginn des Selbstversuchs starten 34 Freiwillige Wenn die Ergebnisse der Evaluation ver ffentlicht werden k nnen auch andere von den Erfah rungen profitieren siehe hierzu auch Kapitel 5 3 auf Seite 64 bertragbarkeit Funktioniert eine Ma nahme zur L rmreduktion innerhalb Evalstadt gut kann diese auch in eine andere Stadt ber tragen werden Liegen ausf hrliche Evaluationsergebnisse vor k nnen die Entscheidenden vor Ort direkt auf diese positiven Erfahrungen aus Evalstadt verweisen Die Evaluation verhilft zu einem besseren Verst ndnis f r ffentliche Ausgaben einer besseren Orientierung der Ma nahmenb ndel auf bestimme Zielgruppen einer Verbesserung zuk nftiger Planungen und einer Optimierung bei der Zuweisung von Ressourcen
160. zen Wenn also auf der vierspurigen Stra e neben dem neuen berweg gleichzeitig auch eine neue Geschwindigkeit festgelegt wurde bspw statt 50 nur noch 30 Stundenkilometer dann wird sich diese nderung ebenfalls m glicherweise auf die Wartezeit auswirken Um die tats chlichen Effekte einer bestimmten Ma nahme m glichst eindeutig zu beschreiben sollten Sie in jedem Fall eine Kontrollmessung durchf hren Im 0 2 Beispiel werden dabei die gleichen Daten auf einem Streckenabschnitt erhoben an dem keine Querungshilfen existieren Das folgende Beispiel der Schulumfeldgestaltung in der Musterstadt Evalstadt beruht in weiten Teilen auf einem Projekt der Stadt Utrecht Niederlande Utrecht unterst tzt Grundschulen die die Fragen der Sicherheit im Stra enverkehr proaktiv angehen Diese Initiative hat einen Einfluss auf das Schulumfeld den Lehrplan der Schule und sie f rdert die Einbeziehung der Eltern bei sicherheitsrele vanten Fragen In Evalstadt wurde die verkehrliche Umgebung aller Schulen gleich gestaltet um die Sicherheit von Fu g ngern und insbesondere der Sch lerinnen und Sch ler zu erh hen Zur Umgestaltung geh ren Warnschilder Park und Halteverbotszonen Tempo 30 Zonen auff llig farbige Stra en markierungen und die einheitliche Gestaltung der Gehwege Auf diese Weise soll die Aufmerksam keit der Autofahrer und fahrerinnen in der N he von Schulen stadtweit erh ht werden so dass diese ihr Fahrverhalten entspreche

Evaluation zählt – Ein Anwendungshandbuch für

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluation z&auml;hlt &ndash; Ein Anwendungshandbuch f&uuml;r

Contents

Download Pdf Manuals

Related Search

Related Contents

Evaluation zählt – Ein Anwendungshandbuch für