Home

Pr.mio Serzedello Corr.a 2003 - Miolo.indd

1. TCU 2000 p 110 Os programas representam uma resposta do Estado a quest es cuja gravidade e extens o demandam interven o governamental No Plano Plurianual PPA 2000 2003 que segue a organiza o por programas a a o final stica do Governo estruturada em programas orientados para o alcance dos objetivos estrat gicos definidos para esse per odo Um programa formado por um grupo de atividades e projetos que visam a um objetivo ou conjunto de objetivos para o qual s o organizados recursos humanos financeiros e materiais a fim de gerar produtos bens e servi os e promover mudan as no sentido de satisfazer determinada necessidade Projetos e atividades correspondem aos conjuntos de opera es dos quais resultam produtos A diferen a entre projeto e atividade est na dura o e no tipo de produto obtido em um projeto as opera es s o limitadas no tempo e o produto gerado contribui para a expans o ou o aperfei oamento da a o de governo em uma atividade as opera es se realizam de modo cont nuo e permanente para ofertar um produto necess rio manuten o da a o do Governo Os programas possuem alguns atributos que lhes permitem potencializar as oportunidades da a o governamental e reduzir os riscos existentes para o alcance dos fins almejados a objetivos situa o que se pretende atingir com a realiza o do programa b metas atributos dos objetivos criados para me
2. desenvolvimento sustent vel Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 101 B RISCO QUADRO 6 Vari vel Risco Baixo M dio Alto Perfil do gasto p blico Adequado Mediamente adequado Inadequado Forma de organiza o Pouco complexa Mediamente complexa Muito complexa Organiza o da Alta organiza o M dia organiza o Baixa organiza o demanda Ader ncia demanda Alta flexibilidade e M dia flexibilidade e Baixa flexibilidade e adaptabilidade adaptabilidade adaptabilidade Fonte NEPP Com adapta es gt Possibilidade de descontinuidade do programa alta ou baixa gt Exist ncia de sistema de informa es e de dados e informa es confi veis sobre o programa gt Exist ncia e utiliza o de indicadores de desempenho com qualidade gt Exist ncia de mecanismos de controle que assegurem o crit rio de sele o de benefici rios execu o pelo terceiro setor ONGs OSCIPS etc exist ncia de crit rios de distribui o de recursos contingenciamento de recursos no exerc cio atual grau de centraliza o gt Diversidade e heterogeneidade dos produtos do programa gt Exist ncia de estrutura organizacional que ofere a condi es para execu o dos programas gt Exist ncia de meios de oferta de den ncias e de oferta de capacita o de RH gt Amea as externas ao funcionamento do programa e
3. A auditoria que objetivou contribuir para melhorar o desempenho do Peti a partir da identifica o de boas pr ticas bem como identificar pontos nos quais o Programa apresenta oportunidades de melhoria foi objeto da Decis o n 414 2002 Plen rio reproduzida no Anexo I Como se pode depreender da leitura da Decis o o trabalho resultou em uma s rie de determina es e recomenda es por parte do Tribunal destinadas ao aperfei oamento dos processos operacionais a exemplo dos itens 8 1 1 e 8 1 6 da efic cia das a es como nos itens 8 1 3 e 8 1 4 e do controle social sobre o Programa 8 1 7 e 8 1 18 Tanto na decis o quanto no relat rio que lhe deu origem poss vel encontrar informa es valiosas para diferentes p blicos alvo A lista de rg os e entidades relacionados no item 8 3 da Decis o como destinat rios da informa o serve para ilustrar o leque de institui es capazes de se beneficiar do conhecimento das conclus es alcan adas pelo Tribunal no trabalho de avalia o do Programa Ao abranger por m das Comiss es Permanentes de Assuntos Sociais e de Fiscaliza o e Controle do Senado Federal aos conselhos e secretarias estaduais de assist ncia social a rela o contempla organiza es cujas necessidades informacionais variam significativamente no que tange ao n vel de detalhamento da informa o e aos assuntos de maior interesse Por exemplo a determina o impl
4. TRIBUNAL DE CONTAS DA UNI O PR MIO SERZEDELLO CORR A 2003 MONOGRAFIAS VENCEDORAS Avalia o de Programas P blicos no Brasil o Papel do Tribunal de Contas da Uni o Bras lia DF 2005 O Copyright 2004 Tribunal de Contas da Uni o Impresso no Brasil Printed in Brazil www tcu gov br Responsabilidade Editorial Instituto Serzedello Corr a Servi o de Editora o e Publica es Sedip SEPN Av W3 Norte Quadra 514 Bl B Lote 7 70760 527 Bras lia DF Fone 061 340 3215 e 340 3217 Brasil Tribunal de Contas da Uni o Pr mio Serzedello Corr a 2003 monografias vencedoras avalia o de programas p blicos no Brasil o papel do Tribunal de Contas da Uni o Tribunal de Contas da Uni o Bras lia TCU Instituto Serzedello Corr a 2005 167p Conte do Avalia o de programas p blicos no Brasil o papel do Tribunal de Contas da Uni o Artur Adolfo Cotias e Silva e Carlos Alberto Sampaio de Freitas Avalia o de programas e responsabiliza o dos agentes p blicos pelo resultado da a o governamental o pa pel do Tribunal de Contas da Uni o Dagomar Henrique Lima Avalia o de programas p blicos no Brasil o papel do Tribunal de Contas da Uni o o TCU e a busca pelo aprimoramento das avalia es de pol ticas p blicas no Brasil Benjamin Lima J nior Avalia o de programas p blicos pelo Tribunal de Contas da Uni o perspectiva para a maximiza o de resultados
5. Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 17 4 TIPOS DE AVALIA O Apresentados os principais conceitos do que seja avaliar do que seja programa de governo e do que represente a avalia o de programas vejamos as diversas formas sob as quais podem ser agrupadas as avalia es dependendo da finalidade da classifica o Tomando por base o momento de implementa o as avalia es podem ser classificadas em ex ante e ex post COHEN amp FRANCO 1993 As primeiras tamb m denominadas de Program Analysis HATRY 1981 t m por objetivo fornecer informa es para a tomada de decis o com vistas implementa o de programas As avalia es ex post por sua vez visam a auxiliar decis es quanto manuten o ou aperfei oamento de programas Em termos de objetivos segundo Aguilar amp Ander Egg 1994 as avalia es podem ser somativas ou formativas As avalia es somativas objetivam verificar os efeitos dos programas em rela o a seus objetivos decidindo se por sua manuten o ou n o J as avalia es formativas t m por finalidade melhorar os programas Todavia para Cronbach 1980 citado por Aguilar amp Ander Egg 1994 essa classifica o n o seria a mais adequada porque na pr tica as avalia es s o em sua maioria formativas e n o somativas Segundo a proced ncia dos executores as avalia es podem ser internas externas e mistas S
6. es conduzidas diversos de programas por pa ses devem ser analisados em perspectiva comparada Diferen as e similaridades na forma pela qual as EFS praticam auditoria de desempenho podem ser integradas em um esquema geral DOGAN PELASSY 1984 p 112 De um lado as similaridades devem ser analisadas tendo em mente converg ncia nos processos de pol ticas p blicas de diversos governos que alavancaram seus processos internos de gest o com foco de controle movendo se de uma perspectiva de conformidade para uma de resultados Por outro lado as diferen as podem ser analisadas em termos dos tipos e dos modos de revis o que comp em as pr ticas das EFS em auditoria de desempenho Entre as diferen as em pr tica um aspecto parece de grande import ncia se uma EFS conduz ou n o auditoria de efetividade e ou avalia o de programa EFS promovem o crescimento da auditoria de For as externas agindo sobre as desempenho e o da avalia o de programas Muitas dessas for as se tornam evidentes se tomarmos como exemplo os pa ses membros da OCDE Elas se referem basicamente a crise fiscal cortes em despesas or ament rias ambiente de opera o governamental em transforma o press es pol ticas e sociais para um governo mais aberto e transparente e expectativa crescente com a qualidade dos servi os p blicos SHAND ANAND 1996 18 A Nova Gest o P blica foi deflagrada durante a gest o da primeira min
7. o mais presente as informa es relativas a pre os s o sempre fracas em decorr ncia das opera es ilegais os contratos n o s o alocados para os fornecedores de maior efici ncia e os controladores ficam mais vulner veis captura por interesses privados ROSE ACKERMAN 2000 o que dificulta um sistema s rio de administrada Nesse competi o sistema vigoram arranjos do tipo contratual que t m efic cia limitada quando florescem as transa es informais no Setor P blico corrup o ou tentativas bem intencionadas de contornar normas sem sentido Al m disso arranjos como os contratos de gest o podem tornar se um empecilho para a flexibiliza o da administra o quando degeneram em contratos super detalhados que acabam por reproduzir as antigas limita es burocr ticas tradicionais Esse perigo ainda maior em pa ses de matriz jur dica romana como o Brasil mas nem mesmo os anglo sax es como a Nova Zel ndia est o imunes SCHICK 1998 Al m da limita o decorrente da falta de informa es fidedignas deve se destacar que a realiza o de avalia es principalmente de efetividade tarefa dispendiosa demorada que exige recursos humanos especializados e carrega forte vi s acad mico Como afirma Sevilha 2001 at poss vel que os Tribunais de Con tas ainda n o estejam suficientemente aparelhados de instrumentais humanos e materiais para uma aferi o n tida dos requisito
8. o governamental e um sistema de informa es que permita a forma o de ju zo de valor sobre o desempenho da a o de governo Caso contr rio a coleta de informa es pelos pr prios rg os de controle pode ser imposs vel ou muito cara O PPA 2000 2003 planejamento or ament rio brasileiro aperfei oou o mas limitou se a fixar metas quantitativas para os programas restringindo o conceito de bom desempenho ao aspecto da efic cia Muito ainda deve ser feito para que se resolvam os problemas de efici ncia alocativa e operacional A vari vel efici ncia deve ser incorporada an lise se o objetivo for avaliar os resultados da a o do Governo De outro modo fica praticamente impossibilitada a efetiva responsabiliza o por resultados ante a falta de informa es sobre o custo dos produtos e dos servi os gerados pelos programas A mensura o da efici ncia do processo produtivo requer a identifica o precisa do ciclo produtivo que est sendo objeto do or amento No entanto a an lise do or amento brasileiro revela uma s rie de despesas que n o est o ligadas a um processo produtivo no n vel or ament rio n o constituindo portanto uma rela o ainda que aproximada de insumo produto CORE 2002 p 128 Exemplo disso a despesa de pessoal que ao inv s de estar associada a cada um dos programas apropriada ao rg o ou entidade como um todo Cabe lembrar que o or ament
9. o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 123 sensivelmente o acesso a informa es valiosas que de outra forma n o chegariam ao conhecimento da grande maioria do p blico que n o disp e de tempo ou disposi o para a leitura completa de uma publica o em busca daquilo que lhe seja aproveit vel 5 2 3 PUBLICA O AUDITORIAS DO TCU A publica o Auditorias do TCU encontrada no endere o lt http www tcu gov br ISC sedip auditoria home html gt tem o prop sito de divulgar os mais relevantes trabalhos de auditoria produzidos pelas equipes t cnicas do Tribunal Por colocar em destaque trabalhos importantes seja em fun o dos resultados obtidos seja das inova es metodol gicas observadas em sua concep o e sua implementa o a Revista tem potencial para contribuir tanto para o aperfei oamento da Administra o P blica e para o controle social quanto para a dissemina o de novas t cnicas e enfoques de fiscaliza o visando melhoria das atividades de controle interno e externo Essa valiosa fonte de informa es para parlamentares agentes de controle gestores e cidad os no entanto subaproveitada em fun o das dificuldades de pesquisa e localiza o da informa o procurada Como mostra a Figura 6 assim como na Revista do TCU o acesso s edi es da Publica o feita apenas mediante a escolha do n mero correspondente 1 2 3 etc Nenhum dado f
10. o de pesquisas na base de dados do Sistema de Normas e Jurisprud ncia que armazena todos os documentos relativos a s mulas decis es ac rd os e atos normativos editados pelo Tribunal desde 19928 Um gestor p blico interessado em conhecer as decis es adotadas pelo TCU em processos de avalia o de programas poderia realizar a consulta apresentada na Figura 2 usando a express o de pesquisa avalia o de programa O retorno da pesquisa apresentado na Figura 3 informa ao usu rio n o ter sido encontrado nenhum documento que contivesse a express o pesquisada A mesma pesquisa livre realizada com a troca da express o avalia o de programa por avalia o do programa obteve resultado id ntico ao apresentado na Figura 3 Curiosamente a express o aparece grifada no texto abaixo reproduzido localizado no mesmo sistema mediante o uso das palavras chave programa FNDE Decis o 596 2000 Plen rio Nome do Documento DC 0596 30 00 P Ementa Auditoria de Desempenho Programa Nacional de Alimenta o Escolar PNAE Verifica o do controle do FNDE sobre o desempenho do programa quanto efic cia e efetividade Aus ncia de avalia o do programa Aus ncia de crit rio t cnico para repasse dos recursos Defici ncia na comunica o entre os gestores do Programa Informa es do Programa cen tradas nos recursos transferidos e n o nos resultados esperados Aus ncia de regularidade no repasse de recurs
11. avalia o de programa O objetivo da auditoria de desempenho operacional examinar a a o governamental quanto aos aspectos de economicidade efici ncia e efic cia enquanto o objetivo da avalia o de programa busca examinar al m dos aspectos de economicidade efici ncia e efic cia tamb m a efetividade dos programas e dos projetos A auditoria de desempenho operacional est voltada para o exame da a o governamental quanto aos mesmos aspectos e tem como foco principal os seguintes itens como os rg os e as entidades p blicas adquirem protegem e utilizam seus recursos as causas de pr ticas antiecon micas As defini es e os exemplos utilizados encontram se dispon veis no Manual de Auditoria Operacional disponibilizado no TRIBUNAL DE CONTAS DA UNI O Defini o dada pelo Manual de Auditorias de Natureza Operacional Dispon vel em http Avww tcu gov br acesso em 24 de julho de 2003 10 Estes conceitos segundo o Manual de Auditoria Operacional do TCU s o assim entendidos ECONOMICIDADE minimiza o dos custos dos recursos utilizados na consecu o de uma atividade sem comprometimento dos padr es de qualidade EFICI N CIA rela o entre os produtos bens e servi os gerados por uma atividade e os custos dos insumos empregados em determinado per odo de tempo temente dos custos implicados EFETIVIDADE rela o entre os resultados alcan ados impactos observados e os objetivos impac
12. de outro Finalmente o termo Nova Gest o P blica podeseranalisado como campo deargumenta o e pesquisa conduzido internacionalmente sobre o processo de interven o de pol ticas de gest o p blica no mbito governamental Nova Gest o P blica de acordo com Barzelay campo de discuss o pol tica e profissional conduzida internacionalmente sobre pol tica de gerenciamento p blico lideran a executiva design de organiza es program ticas e opera es governamentais Assim definido argumenta o e pesquisa sobre gerenciamento p blico devem focar os processos pol ticos e os organizacionais pelos quais mudan as de pol ticas p blicas ocorrem Al m disso trabalhos endere ando a essa disciplina deveriam focar em an lise substantiva de pol ticas de gest o p blica BARZELAY 2001 A abordagem para a NGP caracterizada neste par grafo parece ser a mais adequada para a discuss o que se pretende ter neste trabalho 7 ARGUMENTOS POL TICO E ORGANIZACIO NAL DO CONTROLE GOVERNAMENTAL A condu o de trabalhos de avalia es de desempenho geralmente implica analisar quest es sobre distribui o de autoridade e controle no processo de formula o de pol ticas p blicas de forma diferenciada distinta dos processos de auditoria de regularidade Ao mediar tens es entre os rg os do executivo e os do legislativo governamentais entidades de fiscaliza o superiores qualificam se como insti
13. 2000c Esses crit rios se referem s principais dimens es do desempenho efici ncia efic cia e efetividade A defini o dessas dimens es n o pac fica na literatura No entanto o que importa que as defini es abranjam as dimens es do desempenho que s o mais relevantes Com efeito efic cia o grau de alcance das metas programadas de gera o de Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 47 produtos em determinado per odo de tempo independentemente dos custos implicados Quando se fala em resultado a dimens o subjacente do desempenho a da efic cia Efetividade a rela o entre as altera es no objeto da a o governamental que podem ser atribu das nica e exclusivamente ao programa impactos observados e os Ya impactos esperados Essa a dimens o do desempenho mais dif cil de se avaliar em raz o principalmente de dificuldade de se isolarem as causas da modifica o na situa o social Deve ficar claro que a investiga o de impactos isto de modifica es na realidade social importa a enuncia o e o teste de hip teses sobre a rela o entre vari veis segundo m todos reconhecidos como cient ficos Efici ncia a rela o entre os produtos bens e servi os gerados por uma atividade e os custos dos insumos empregados em determinado per odo de tempo fixada a qualidade Essas tr s dimens es do desempenho podem
14. 3 AVALIA O DE PROGRAMAS NO BRASIL 24 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Embora auditorias de natureza operacional e de desempenho tenham sido levadas a efeito desde a d cada de 80 para aferir a efici ncia de a es governamentais o acompanhamento sob a forma de de a es de governo programas relativamente recente em nosso Pa s remontando poca do lan amento do conhecido plano de metas de 1995 denominado Brasil em A o composto de 42 programas priorit rios do governo federal Sob esse novo modelo a gest o p blica passou a ser analisada do ponto de vista dos resultados dos programas que s vezes envolviam mais de um minist rio e essa evolu o iria apressar o processo de incorpora o das t cnicas de avalia o de programas p blicos as auditorias de natureza operacional que j vinham sendo realizadas metodologias que seriam assimiladas pelo Tribunal de Contas da Uni o como veremos adiante Tr s anos mais tarde uma grande oportunidade para a implanta o efetiva de um sistema de avalia o de programas surgiu a partir da reformula o do Plano Plurianual e dos Or amentos da Uni o por interm dio do Decreto n 2 829 de 29 de outubro de 1998 O art 6 do decreto estabeleceu que os programas e projetos implantados de 2000 a 2003 seriam objeto de avalia o f sica e financeira com a finalidade de aferir seus resultados a partir de metas predefinidas P
15. 37 isto entregava culos a apenas 3 da parcela de seu p blico alvo que necessitavam de lentes corretivas Como consegi ncia a a o apresentava baixa efici ncia porque s o entregues menos culos produtos do que o previsto em seus recursos or ament rios custo dos insumos elevando seu custo per capita em 48 Um ant doto para a assimetria de informa o entre agente gestores e principal Parlamento e o risco de captura dos formuladores do or amento pelos gerentes dos programas pode ser a encomenda de avalia es independentes por parte do Congresso Nacional Destacam se dentre os atores capazes de cumprir tal tarefa as universidades os institutos de pesquisa e as entidades de fiscaliza o superior importante que o Congresso Nacional passe a demandar e utilizar avalia es de programas p blicos Dessa forma a fun o avalia o ganharia agenda pol tica e passaria a ser encarada como integrante da din mica de gest o dos programas como meio de alavancar o sucesso destes e o dos gestores assim como meio de prestar contas ao Parlamento da a o governamental Para que essa mudan a de cultura ocorra essencial que os avaliadores produzam relat rios que sirvam efetivamente aos gestores aos pol ticos imprensa e sociedade civil necess rio ainda que se identifiquem grupos e pessoas chave os quais possam ser convencidos da utilidade da avalia o e aprendam a utiliz la como argu
16. ES DO TCU CONSTI TUI O FEDERAL DE 1988 Desde a promulga o da Constitui o Federal de 1988 o TCU buscou adequar se s novas determina es constitucionais que atribuiam ao Tribunal a possibilidade de execu o de auditorias operacionais Nesse sentido foram desenvolvidas medidas no mbito interno institucional que objetivaram dotar o Tribunal de Contas de instrumentos capazes de responder satisfatoriamente s novas demandas Dentre algumas dessas medidas as que mais se destacaram foram o Projeto de Aperfei oamento do Controle Externo com Foco na Redu o das Desigualdades CERDS denominado como Projeto TCU Reino Unido e a cria o da Secretaria de Fiscaliza o e Avalia o de Programas de Governo Seprog 4 1 PROJETO DE APERFEI OAMENTO DO CONTROLE EXTERNO COM FOCO NA REDU O DA DESIGUALDADE SOCIAL CERDS4 Por visar assimila o de sua nova realidade o Tribunal de Contas efetuou gest es com vistas a um projeto de desenvolvimento dos seus servidores na rea de auditorias operacionais Assim foi firmado em 1998 um acordo de coopera o t cnica entre o Governo do Brasil e o do Reino Unido da Gr Bretanha e da Irlanda do Norte para a implanta o do Projeto de Desenvolvimento de T cnicas de Auditoria de Natureza Operacional nas reas de Sa de Educa o e Meio Ambiente com vig ncia de tr s anos de 3 BARROS SILVA Pedro Luiz Relat rio 4 avalia o de programas P blicos reflex
17. a de c Discuss es nas comiss es tem ticas do CN popula o atendida d Acompanhamento na M dia classifica o por assunto d Metas f sicas e Consulta aos stakeholders aos munic pios s ONGs aos e Execu o de metas f sicas b d de consultores aos especialistas para identificar programas ou alcance de metas temas relevantes para coletar as demais informa es b sicas e de risco e para realizar pesquisa postal f Conex o com temas de redu o das desigualdades sociais e combate pobreza e promo o da eqiidade e do Po desenvolvimento sustent vel 28 Defini o do Banco do Brasil S A em trabalho desenvolvido pela auditoria interna sobre Matriz de Risco 100 Pr mio Serzedello Corr a 2003 Monografias Vencedoras B RISCO gt Exist ncia de sistema de informa es e dados e informa es confi veis sobre o programa gt Exist ncia e utiliza o de indicadores de desempenho com qualidade gt Grau de discricionariedade para sele o dos benefici rios em nivel municipal alto ou baixo gt Exist ncia de mecanismos de controle em n vel federal que assegurem o crit rio de sele o de benefici rios gt Exist ncia de mecanismos de coordena o entre as esferas federal estadual e municipal gt Execu o pelo terceiro setor ONGs OSCIPS etc exist ncia de crit rios de distribui o de recursos envolvimento de mais de um rg o conting
18. art 8 Trata se de um dever do gestor p blico perante o rg o controlador Parece clara portanto a conex o entre controle democr tico do governo responsabiliza o por resultado controle do m rito do ato administrativo e avalia o de programas Neste texto de in cio discute se o conceito de avalia o de programas e o seu papel no exame do m rito do ato administrativo e da responsabiliza o por resultados Em seguida discorre se rapidamente sobre o arranjo or ament rio brasileiro para destacar a fun o da organiza o por programas da a o de governo No cap tulo seguinte apresenta se uma tipologia das formas de controle exercidas sobre a administra o p blica a fim de descrever o ambiente em que se insere o Tribunal de Contas da Uni o Nesse cap tulo mencionam se as principais limita es de cada uma das formas de controle para em seguida explor las com mais detalhe na realidade brasileira Reconhecendo a necessidade de sustenta o legal para a responsabiliza o do administrador p blico 46 Pr mio Serzedello Corr a 2003 Monografias Vencedoras por resultados fundamenta se a compet ncia do Tribunal de Contas da Uni o para atuar na responsabiliza o por resultados com base no exame dos princ pios constitucionais que definem as dimens es do controle Devota se especial aten o para o que tem se tornado o entendimento de economicidade e legitimidade mais adequado necessid
19. conseguinte n o apresentam a abrang ncia e a tempestividade de que os decididores necessitam Existem ainda as avalia es de pol ticas p blicas produzidas por institutos de pesquisa como o Instituto de Pesquisas Sociais 52 Pr mio Serzedello Corr a 2003 Monografias Vencedoras e Econ micas IPEA O IPEA tem o Poder Executivo como seu cliente principal e produz estudos sist micos de grande abrang ncia sem muita nfase em efici ncia operacional ou foco no cliente cidad o A Secretaria Federal de Controle Interno aplica recursos consider veis no exame da opera o dos programas federais nos munic pios e gera informa es detalhadas consistente No entanto como o foco no com base em metodologia munic pio a consolida o das informa es Ya ainda bastante demorada e n o oferece um panorama do desempenho que permita inclusive a dissemina o de boas pr ticas Podem ser citadas experi ncias isoladas de rg os do Governo que contratam avalia es mas tal iniciativa n o institucionalizada e quase sempre n o tem car ter continuado H ainda as avalia es internas realizadas pelos rg os respons veis pela execu o dos programas consolidadas no Sistema de Informa es Gerenciais e de Planejamento SIGPlan que evidentemente carecem da independ ncia necess ria para a tarefa de subsidiar o controle parlamentar e n o podem ser consideradas para esse prop sito sem que haja
20. es sobre a experi ncia brasileira IPEA 1999 p 10 80 Pr mio Serzedello Corr a 2003 Monografias Vencedoras abril de 1998 a maio de 2001 Este projeto foi denominado Projeto TCU Reino Unido e sua finalidade foi contribuir para o aperfei oamento do desempenho do Setor P blico e para melhor utiliza o de recursos mediante a implementa o de recomenda es decorrentes de auditorias de natureza operacional Este Projeto tem tamb m como meta aperfei oar a capacidade t cnica do TCU na condu o de auditoria operacional e de avalia o de programa e no monitoramento da implementa o de suas recomenda es pelo Setor P blico A fase do Projeto teve in cio em abril 1998 e t rmino em maio de 2001 Houve um per odo de extens o durante o qual foram acrescidas as reas de Assist ncia Social e Agricultura A fase Il do Projeto ainda em curso pretende intensificar o uso de metodologias de avalia o de programa focando se especialmente na quest o da pobreza e na da desigualdade social Pretende se com isso investigar at que ponto as iniciativas governamentais na rea social est o contribuindo para reduzir a pobreza e a desigualdade social no Pa s As atividades desenvolvidas durante os dois per odos inclu ram a desenvolvimento e dissemina o de procedimentos e elabora o de normas e guias t cnicos sobre auditoria de natureza operacional b realiza o de 24 auditorias piloto e monito
21. foi desenvolvido a partir de 1986 pela Secretaria do Tesouro Nacional STN 88 Pr mio Serzedello Corr a 2003 Monografias Vencedoras feitas pelo Tribunal no tocante s auditorias operacionais Em todas elas indistintamente h justificadas recomenda es e mesmo determina es de melhoria Por m as pol ticas origin rias dos programas avaliados que deram origem a essas a es t m passado ao largo das an lises feitas pelo TCU Enfim nos dois tipos de trabalhos de avalia o realizados pelo TCU s o enfatizados prioritariamente os aspectos de impactos dessas pol ticas Isso nos leva a duas conclus es A primeira que embora a atua o do TCU leve em conta essas emerg ncias das pol ticas p blicas implementadas em nossa realidade a partir das posi es pol ticas refletidas pelo Governo no Plano Plurianual n o se questiona a institui o desta ou daquela pol tica pelo Governo eleito pois isso configuraria controle pr vio ou interven o do Poder Legislativo sobre outro poder segunda conclus o que nas atuais avalia es do TCU feitas de modo Ya Ya ex post o que alentado a possibilidade de aperfei oamento dos processos implementativos de tais pol ticas consequente melhoria do Programa como um todo a partir de programas estabelecidos Nossa proposta pelo controle formativo ou concomitante no mbito do TCU devemos admitir intermedi ria pois reconhecemos a inexi
22. gico da Informa o Adriana de Oliveira Beal 4 Colocado O Papel do TCU na Avalia o de Programas de Governo em Busca de um Governo de Resultados Marcelo Barros Gomes 45 75 107 138 PORTARIA TCU N 127 DE 19 DE MAIO DE 2003 Regulamenta o Pr mio Serzedello Corr a para o exerc cio de 2003 O PRESIDENTE DO TRIBUNAL DE CONTAS DA UNI O no uso de suas atribui es regimentais Considerando o fato de Innoc ncio Serzedello Corr a Ministro de Estado da Fazenda de agosto de 1892 a abril de 1893 ter sido o respons vel pela implanta o do Tribunal de Contas da Uni o na vida administrativa do Pa s propugnando pela defesa da independ ncia e das prerrogativas desta Corte de Contas Considerando haver esta Corte em justa homenagem a esse ilustre brasileiro decidido denominar o instituto criado pela Lei n 8 443 de 16 de julho de 1992 de Instituto Serzedello Corr a cujas atribui es incluem al m do planejamento coordena o e avalia o das atividades referentes ao recrutamento sele o forma o capacita o e aperfei oamento de recursos humanos do Tribunal de Contas da Uni o a promo o de estudos trabalhos e pesquisas sobre quest es relacionadas com as t cnicas de controle e administra o p blica Considerando a institui o do Pr mio Serzedello Corr a pela Portaria n 35 de 13 de mar o de 1959 alterada pela Portaria n 4 de 17 de janeiro de 1969 criado para premiar as melhores
23. mesma linha evolutiva desses iniciativa para incrementar a avalia o de programas no Canad uma lei de 1977 conferiu compet ncia ao Office of the Auditor General OAG para alertar o Parlamento nos casos em que o Governo n o tivesse estabelecido procedimentos de mensura o e comunica o da efetividade dos seus programas 1978 o OAG reportou ao Parlamento que 23 programas em 18 Com base nessa lei em departamentos n o tinham alcan ado os padr es de avalia o desejados SEGSWORTH 1990 Tamb m a Corte de Auditoria da Holanda Algemene Rekenkamer executou entre 1989 e 1991 an lise em todos os minist rios visando determinar em que medida os resultados das avalia es de pol ticas e programas p blicos eram utilizados na formula o de pol ticas e no processo or ament rio KORDES 1992 Da mesma forma na Austr lia prevaleceu essa sistem tica indireta com o Australian National Audit Office ANAO avaliando e reportando ao Parlamento o est gio de estrutura o e utiliza o dos procedimentos minist rios de avalia o nos diferentes SEDGWICK 1992 Nos Estados Unidos no mbito do U S General Accounting Office GAO a avalia o de programas j era realizada de forma direta desde 1980 ano da cria o do Instituto para Avalia o de Programas o qual em 1983 se transformou na Divis o de Metodologia e Avalia o de Programas Program Evaluation and Methodology Division PEMD
24. ncias bem como o conjunto de indicadores recomendados e respectivas metas contemplando prazo para seu atingimento com vistas ao acompanhamento e avalia o dos resultados obtidos 8 2 recomendar ao Ministro de Estado da Previd ncia e Assist ncia Social que envide esfor os no sentido de estabelecer um grupo de contato de auditoria com a participa o de servidores da Secretaria de Estado de Assist ncia Social SEAS do Fundo Nacional de Assist ncia Social FNAS do Conselho Nacional de Assist ncia Social CNAS e da Secretaria Federal de Controle Interno Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 135 SFC com a finalidade de atuar como canal de comunica o com este Tribunal a fim de facilitar o acompanhamento da implementa o das recomenda es desta Corte de Contas a evolu o dos indicadores de desempenho e o atingimento das metas 8 3 encaminhar c pia desta Decis o assim como do Relat rio e do Voto que a fundamentam bem como do inteiro teor do Relat rio de Auditoria aos titulares dos seguintes rg os entidades a Comiss o Permanente de Assuntos Sociais do Senado Federal b Comiss o de Fiscaliza o e Controle do Senado Federal c Comiss o de Fiscaliza o e Controle da C mara dos Deputados d Subcomiss o da Explora o do Trabalho e Prostitui o Infantil do Senado Federal e Minist rio da Previd ncia e Assist ncia Social f Secretaria de Estado de Ass
25. nos per odos anteriores dar o oportunidade de realiza o quelas reas em que ainda n o o tenham sido 9 5 MODELOS DE MATRIZ DE RISCO A SEREM APLICADOS AOS PROGRAMAS DESCEN TRALIZADOS E INSTITUCIONAIS Segundo a conceitua o utilizada pelo TCU Matriz de Risco uma ferramenta de diagn stico til para a formula o de problemas de auditorias que permite o exame do processo de gerenciamento de riscos dos programas e dos projetos a serem auditados Visa identificar os riscos que podem afetar o desempenho de um programa para que estes sejam tratados com maior profundidade Se tivermos em vista a insufici ncia de recursos humanos aliada a outras atividades que s o desenvolvidas pelas secretarias regionais torna se dif cil a realiza o de mais de oito auditorias por semestre Assim pela impossibilidade de se auditarem mais de oito 25 Matriz de risco estrat gico da Adfis por fun o de governo programas por ano foram desenvolvidos crit rios a serem aplicados aos programas e s a es para sele o daqueles que ser o prioritariamente auditados A t cnica que vem sendo aperfei oada pela Seprog denominada Matriz de Risco tem se mostrado bom instrumento de sele o e classifica o de programas A Matriz de Risco prev a pontua o para crit rios de relev ncia risco e materialidade que permite o levantamento de poss veis fragilidades e ou vulnerabilidades dos programas governamentais Os conce
26. o anal tica de programas pass veis de trabalhos de auditoria de natureza operacional Essa aus ncia de limita o dos trabalhos a serem executados se reflete no grande n mero de programas que s o atualmente classificados pela Seprog Neste novo modelo aqueles programas p blicos relacionados infra estrutura os n o final sticos e os que representam servi os de Estado foram considerados desapropriados realiza o de trabalhos pela Seprog sendo mais focados no campo da auditoria de conformidade aos preceitos legais Aqueles ligados infra estrutura s o mais regidos pela Lei 8 666 93 a Lei das Licita es da se enquadrarem nas auditorias de aspectos legais Os programas n o final sticos dizem respeito fundamentalmente ao modo de funcionamento da m quina estatal e cont m disciplinamento legal Nesse sentido propomos a edifica o de nova classifica o baseada nas necessidades do TCU Seprog a fim de eliminar a possibilidade de que os programas entendidos aqui como inadequados para esse tipo de auditoria e de a es fossem classificados para a realiza o de estudos de viabilidade Isso for ou basicamente a cria o de filtros que possibilitassem a supress o de programas nos quais n o seriam realizados os trabalhos de ANOp obtendo uma classifica o final na qual ser o utilizados apenas crit rios objetivos para a escolha dos programas e das a es a serem auditados Assim a proposta caminha no sentido de subd
27. o das pol ticas p blicas desses setores A oportunidade pol tica mais evidente considerando os questionamentos do novo Governo contra o modelo implantado nos ltimos anos 8 CONCLUS O Na atual sociedade competitiva e complexa a produtividade a qualidade e a efici ncia s o exigidas dos particulares e do Estado Na fun o de rg o de controle externo da administra o p blica o Tribunal de Contas n o pode omitir se fiscaliza o dessas dimens es ao lado da secular e important ssima dimens o da legalidade Em consequ ncia da forte restri o fiscal e da conjuntura internacional necess rio ordenar a a o estatal de forma l gica liberta de improvisa es amador sticas de conseqti ncias graves para o Er rio e para o bem estar da popula o Do mesmo modo os Tribunais de Contas devem se adaptar s novas demandas sociais reorganizando sua atua o de modo a favorecer a responsabiliza o dos agentes p blicos pelos resultados dos programas de governo Nesse mister o instrumento t cnico por excel ncia a ser utilizado a avalia o de programas de governo O Brasil apresenta uma s rie de limita es para a responsabiliza o por resultados e para a avalia o de programas Trata se de um Pa s no qual os gerentes t m pouca margem de manobra em decorr ncia das fortes restri es fiscais do sistema legal r gido e detalhado da predomin ncia de controles procedimentais cl ssic
28. o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 149 Oportunidades para EFS Complemento de seus trabal hos de controle da conformi dade da gest o com trabalhos de controle de resultados da gest o Melhoria da imagem fortalecimento democr tico Mostra como guardi o do Er rio contra impropriedades administrativas inclusive corrup o rg o gerador de infor ma es sobre efetividade de pol ticas p blicas que pode ser de grande interesse para seu principal cliente o Congresso Contribui o para melhoria do bem estar coletivo Requisitos inter nos da EFS para conduzir trab alhos Rela o com o Independ ncia profissional ismo conhecimento t cnico abrangente do funcionamen to estatal rabalhos mais proximos Independ ncia profissional ismo conhecimento t cnico de procedimentos adminis trativos rabalhos estanques Alta Independ ncia profis sionalismo e conhecimento t cnico de funcionamento de programas e projetos p blicos rabalhos em conjunto auditado M dia baixa dist ncia dist ncia relacional Baixa dist ncia relacional relacional Modalidade da Avalia o revis o e an lise Atesta o Avalia o pesquisa aplica o Habilidades do N vel de especializa o N vel de especializa o res Nivel de especializa o me auditor abrangente Economia Ger trito direito finan as p bli nos ab
29. o do atingimento dos objetivos funcionais Os desdobrados em subprogramas aos programas por sua vez s o quais se vinculam os projetos e atividades contribuindo diretamente para alcan ar os objetivos dos programas Consoante terminologia adotada pela Associa o Brasileira de Or amento P blico ABOP programa o desdobramento da classifica o funcional program tica atrav s do qual se faz a liga o entre os planos de longo e m dio prazo aos or amentos plurianuais e anuais representando os meios e instrumentos de a o organicamente articulados para o cumprimento das fun es Os programas geralmente representam os produtos finais da a o governamental Na conceitua o norte americana segundo Hatry 1981 um programa refere se a uma atividade ou grupo de atividades empreendidas por um governo para servir ao p blico Usualmente conduzido por uma s entidade mas s vezes requer o envolvimento de diversos rg os e entidades de um determinado n vel de governo e at mesmo de mais de um n vel de governo como federal e estadual interligados Em sentido lato podemos considerar o termo programa para fins de conceitua o de avalia o de programas como referente a servi os atividades ou fun es conduzidas pelos governos 3 CONCEITOS DE AVALIA O DE PROGRAMAS O Tribunal de Contas da Fran a em trabalho apresentado por ocasi o do XIV Congresso da INTOSAI o INCOSAI realiz
30. para 7 dias em 2001 processamento de pedidos Erradica o do Aedes Aegypti Descentraliza o financeira mais equitativa Outros programas na rea da sa de poderiam considerando crit rios epidemiol gicos valer se dos mesmos crit rios para aprimorar demogr ficos e geogr ficos e elimina o a distribui o de recursos de distor es na determina o do montante financeiro a ser transferido Fontes Relat rio de Atividades do TCU do Exerc cio de 2002 de 2277 elabora o do autor Se entendida e tratada como um recurso estrat gico a informa o proveniente de a es de avalia o de programas pode transformar se num poderoso instrumento de amplia o da efetividade das a es de controle de gest o expandindo consideravelmente seu potencial de orienta o conscientiza o e multiplica o de resultados perante o p blico externo ao qual se destina 4 4 EXEMPLO DA POTENCIALIDADE DA DIVULGA O DA INFORMA O PROVENIENTE DE AVALIA O DE PROGRAMAS Para ilustrar a grande potencialidade da informa o produzida em a es de avalia o de programas pelo TCU ser analisado neste item o resultado de uma auditoria de natureza operacional realizada no Programa de Erradica o do Trabalho Infantil Peti escolhida aleatoriamente entre os diversos trabalhos de fiscaliza o de desempenho desenvolvidos recentemente pelo Tribunal 116 Pr mio Serzedello Corr a 2003 Monografias Vencedoras
31. programas que descreva os tipos de recursos informacionais existentes suas fontes suas unidades organizacionais respons veis e seus servi os e os sistemas a eles associados pode trazer entre outras vantagens e aumento da percep o sobre as informa es que est o dispon veis e possibilidade de identifica o e de elimina o de escassez e redund ncia de informa es e economia de custos decorrente da possibilidade de identifica o de diferentes categorias de informa o entre os recursos informacionais mapeados e e maior agilidade na localiza o das informa es desejadas Se um gestor que esteja assumindo nova fun o de dire o souber onde encontrar 10 A classifica o da informa o de acordo com seus requisitos de disponibilidade dados que precisam estar dispon veis em tempo integral dados de acesso espor dico ou informa es arquivadas por motivos legais a import ncia informa es que se forem perdidas podem ser facilmente recuperadas ou informa es cuja perda ir significar preju zos financeiros e ou danos morais para a institui o e a confidencialidade possibilitam que haja diferencia o nos recursos de tecnologia da informa o a serem utilizados para armazenar a informa o com importantes economias em hardware e software Por exemplo enquanto as informa es que precisam estar dispon veis em tempo integral precisam ser armazenadas em discos de alta velocid
32. relat rios de julgamento de auditorias de natureza operacional acompanhamentos da implementa o de recomenda es compila es sobre melhores pr ticas artigos e demais informa es publicadas na biblioteca virtual dentro da sua rea de interesse Desse modo a informa o dispon vel poderia ter seu valor substancialmente ampliado uma vez que os interessados passariam a tomar conhecimento imediato dos novos dados estando em condi es de utiliz los assim que estivessem dispon veis sem depender de uma consulta ao acervo dispon vel na Internet 7 CONCLUS O Como visto nos cap tulos anteriores a avalia o de programas realizada pelo TCU por meio de auditorias de natureza operacional constitui elemento de import ncia para o bom desempenho da gest o p blica e a potencialidade da informa o proveniente dessas a es de controle alt ssima estando em grande parte desperdi ada pela aus ncia de processos mais eficientes e eficazes de gest o de ativos informacionais Em que pesem os esfor os de divulga o 130 Pr mio Serzedello Corr a 2003 Monografias Vencedoras institucional desenvolvidos nos ltimos anos pelo TCU como a publica o de relat rios de atividades e informativos a participa o no programa Voz do Brasil e a oferta de diversos recursos na Internet pode se constatar que existem ainda obst culos importantes a serem superados de modo a permitir que a informa o
33. rg os e das entidades que os executam bem como dos gerentes que planificam formulam pol ticas supervisionam e avaliam Assim sendo para que o controle sobre a administra o Ya seja efetivo mister que os tribunais de contas fiscalizem a execu o e os resultados gerados por esses planos programas projetos e atividades ordenados sem que com isso esbarrem em abuso de poder ou ilegalidade O trabalho de avalia o de programa com vistas responsabiliza o por resultado exige o desenvolvimento de t cnicas apropriadas e de procedimentos internos aos tribunais adequados nova realidade da administra o p blica Trata se de desafio dif cil mas n o imposs vel nem tampouco ilegal O exame dos princ pios da economicidade e da legitimidade substantiva encontra se melhor caracterizado nos trabalhos de auditoria de natureza operacional art 71 IV Constitui o Federal que se constitui em esp cie de avalia o como j esclarecido Conforme estabelecido no Manual de Auditoria de Natureza Operacional do TCU BRASIL 2000c o objetivo desse tipo de auditoria examinar a a o governamental quanto aos aspectos de economicidade efici ncia e efic cia com vistas a contribuir para a melhoria do desempenho das institui es p blicas Essa esp cie de fiscaliza o deve ser intensificada e fortalecida Algumas das alternativas mais diretas que se apresentam para esse tipo de trabalho s o a veri
34. t cnicas de monitoramento an lise de equidade entre outras T cnicas da Escola de Avalia o de Programas incluem modelos de an lise de efetividade de an lise de efeitos indesejados de avalia o sem foco nas metas de avalia es compreensivas de produtividade entre outros VERDUNG 1997 p 36 O que deve ser salientado nesse ponto que a maneira como uma entidade de fiscaliza o superior conduz auditoria de desempenho conformada e limitada por fatores intra estatais mais que uma quest o t cnica que demonstre o melhor caminho de controlar e revisar procedimentos de um governo De fato n o h um conjunto program tico coerente de maneiras com as quais Entidades de Fiscaliza o Superiores conduzem auditoria de desempenho Pelo contr rio essas Entidades t m desenvolvido diferentes tipos de controle por resultados e melhores pr ticas sobre o mesmo r tulo de auditoria de desempenho Evid ncias emp ricas entre os pa ses da OCDE demonstram que poucas s o as EFS que realmente enfatizam quest es de conte do de pol tica p blica ao desenvolver trabalhos de auditoria de desempenho Este o caso somente na Austr lia na Holanda na Su cia e nos Estados Unidos BARZELAY 1997 p 396 8 POSS VEIS LINHAS DE A O As transforma es em pol ticas de gest o p blica v m alterando significativamente o papel das EFS A seguir apresentam se algumas formas de altera o dos trabalhos das EFS deco
35. ticas p blicas e permitam alertar os diferentes atores institucionais n o s acerca de tais eventualidades mas tamb m de sugest o de medidas de conting ncia O Governo Brit nico vem investindo bastante no gerenciamento de riscos no setor p blico e o TCU poderia introduzir essa preocupa o no setor p blico brasileiro 36 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Nessa estrat gia de avalia o de riscos o General Accounting Office GAO dos Estados Unidos possui uma linha de relat rios que avalia os desafios governamentais e os principais riscos nos diferentes rg os e nos programas federais A avalia o de programas tamb m pode se dar em n vel mais sist mico ou seja analisando os eventuais problemas na articula o dos diversos rg os e entidades das diferentes esferas da administra o p blica e por vezes do terceiro setor Na verdade os programas p blicos principalmente os da rea social dependem dessa articula o para atingir seus objetivos Em virtude de sua localiza o na administra o p blica um poss vel nicho de oportunidade de atua o para o TCU a aplica o do conceito de redes de organiza es no setor p blico nas suas avalia es melhorando a coordena o entre todos os atores envolvidos Por ltimo as avalia es a que o TCU procede poderiam alertar as autoridades e os formadores de opini o acerca da import ncia de temas que n o estej
36. to da a o p blica n o destitui a administra o p blica de seu poder de optar pela escolha mais conveniente e oportuna mas procura estabele cer par metros de custo produtividade e qua lidade para a a o estatal MATA 1994 bem como informar a sociedade sobre a atua o do Governo O novo modelo de gest o or amen t ria implementado a partir do PPA 2000 2003 aponta mecanismos que poder o vir a subsidiar o exame das escolhas p blicas sob essas dimen Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 67 s es a exemplo do estabelecimento de metas por a o de governo Cabe ao Tribunal em seu mbito de atua o melhor explorar a an lise desses princ pios quando da divulga o de suas decis es A ado o de princ pios da NGP e da administra o por resultados que tomou impulso com o Plano da Reforma do Estado em 1995 parece n o ter sido esquecida mesmo com a altern ncia de poder no Governo Federal como demonstra o recente Manual de Elabora o de Programas do Minist rio do Planejamento BRASIL 2003a O documento declara que os compromissos sociais assumidos pelas for as pol ticas vencedoras do pleito de 2002 devem ser cumpridos mediante a es voltadas para resultados Nesse est gio uma das op es de a o que se descortina para o TCU a de desenvolver a avalia o de programas de governo para munir o titular do controle externo de forma clara e ob
37. usados de maneira eficiente e de a informa o obtida poder ser reutilizada com facilidade O mapeamento da informa o existente evita disfun es como BEAL 2002 e informa o dispersa a informa o est espalhada pela organiza o com diversos setores produzindo processando e emitindo informa es sem qualquer tipo de integra o dificultando o acesso e o controle pelos gestores informa es divergentes a organiza o disp e de informa es diferentes sobre o mesmo assunto informa es excessivas a organiza o produz uma quantidade excessiva de informa es fazendo que os usu rios se vejam s voltas com p ginas e p ginas de documentos relat rios e estat sticas que nem sempre podem ser consultados ou utilizados e e informa es em duplicidade a falta de organiza o da informa o acarreta a captura repetida dos mesmos dados j coletados e dispon veis O volume de dados armazenados pelas corpora es vem aumentando exponencialmente BARROS 2003 No caso do TCU o n mero de informa es provenientes das mais diversas fontes internas auditorias tomadas e presta es de contas etc e externas acompanhamento do Di rio Oficial da Uni o correspond ncia proveniente de rg os e entidades fiscalizados e outras representa um desafio para o estabelecimento de processos eficientes de busca e manuten o de dados e informa es Um mapa da informa o sobre avalia o de
38. Auditoria de organiza o do servi o p blico conhecida como auditoria orientada a microobjetivos deve focar Auditoria de funcionamento do servi o p blico conhecida em economia e efici ncia como auditoria orientada a macrobjetivos relaciona se efetividade de pol ticas p blicas Em 1992 houve uma emenda ao Ato de 1976 especificando que auditoria de efetividade e efici ncia deveria incluir auditoria da efetividade e efici ncia do gerenciamento incluindo todos os poss veis aspectos do gerenciamento interno dos departamentos do servi o p blico e auditoria de efetividade e efici ncia da organiza o e e auditoria de efetividade e efici ncia de pol ticas p blicas implementadas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 151 5 5 SU CIA No Escrit rio de Auditoria da Su cia a auditoria de desempenho praticada desde 1960 contudo os crit rios aplic veis desde ent o sofreram transforma es significativas O manual de auditoria de desempenho daquele rg o identifica economia efici ncia e efetividade como os crit rios centrais Auditoria de estrutura da O Departamento de Desempenho existente na Ya 4 Auditoria Sueca respons vel por examinar e promover a efetividade e a efici ncia das atividades centrais do Governo 5 6 AUSTR LIA Desde 1979 o Australian National Audit Office ANAO possui compet ncia estatut ria para
39. Minist rio do Planejamento Manual de Elabora o de Programas Bras lia DF 2003a Dispon vel em htip www planejamento gov br Acesso em 25 jul 2003 BRASIL Minist rio do Planejamento Manual T cnico de Or amento Bras lia DF 2000a Dis pon vel em lt hitp www planejamento gov br gt Acesso em 1 ago 2003 BRASIL Minist rio do Planejamento Portaria n 42 de 14 de abril de 1999 Atualiza a discrimi na o da despesa por fun es estabelece os conceitos de fun o subfun o programa projeto atividade opera es especiais e d outras provid ncias Bras lia 1999b Dispon vel em lt http www planejamento gov br gt Acesso em 1 ago 2003 BRASIL Lei n 4 717 de 29 de junho de 1965 Regula a a o popular Bras lia 1965 Dispon vel em lt hitp wwwt senado gov br legbras gt Acesso em 1 ago 2003 BRASIL Lein 8 443 de 16 de julho de 1992 Disp e sobre a Lei Org nica do Tribunal de Contas da Uni o e d outras provid ncias Bras lia 1992 Dispon vel em lt http wwwt senado gov br legbras gt Acesso em 1 ago 2003 BRASIL Lein 9 989 de 21 de julho de 2000 Disp e sobre o Plano Plurianual para o per odo 2000 2003 Bras lia 2000b Dispon vel em lt http www senado gov br gt Acesso em 1 ago 2003 BRASIL Tribunal de Contas da Uni o Ac rd o 272 2003 Plen rio Auditoria de Desempenho Programa Nacional de Imuniza es Minist rio da Sa de Fu
40. REFER NCIAS BIBLIOGR FICAS ARIST TELES Pol tica Arist teles Tradu o de M rio da Gama Kury 3 ed Bras lia Editora Universidade de Bras lia 1997 BARROS SILVA Pedro Lu s A avalia o de programas p blicos reflex es sobre a experi ncia brasileira relat rio t cnico Pedro Lu s Barros Silva e Nilson do Ros rio Costa Bras lia IPEA 2002 Avalia o qualitativa de programas sociais priorit rios relat rio de avalia o final Campinas Unicamp 3 v 1999 Relat rio NEEP Unicamp BARROS SILVA Pedro Lu s RUS PEREZ J R Avalia o dos programas da rede NEEP Unicamp BOBBIO Norberto Dicion rio de Pol tica Bras lia Universidade de Bras lia 1992 BRASIL Minist rio do Planejamento Or amento e Gest o Plano Plurianual PPA 2000 2003 Bras lia 2003 Minist rio da Seguran a Alimentar Bras lia DF 17 jul 2003 Dispon vel em lt http www fomezero gov br gt Acesso em 17 jul 2003 Instituto de Pesquisas Avan adas IPEA Bras lia DF 10 jul 2003 Dispon vel em lt http www ipea gov br gt Acesso em 10 jul 2003 Tribunal de Contas da Uni o Bras lia DF 17 jul 2003 Dispon vel em lt http www tcu gov br gt Acesso em 177 jul 2003 104 Pr mio Serzedello Corr a 2003 Monografias Vencedoras CHIANCA Thomaz Desenvolvendo a cultura de avalia o em organiza es da sociedade civil S o Paulo Global 2001 ECO Umberto Como se faz uma tese 15 ed
41. Reuni o Nacional e Regional de Auditores Governamentais em janeiro de 1976 publicado em 1977 alinhava as principais mudan as ocorridas na auditoria governamental de 1966 a 1976 mencionando que ela deixava de lado o enfoque apenas financeiro e de legalidade para abranger tamb m aspectos relacionados com a an lise dos resultados envolvendo a efici ncia e a efic cia dos programas de governo Naquela oportunidade Mr Staats j alertava para as principais perguntas que haveriam de ser respondidas Onde podemos reduzir custos Que programas n o alcan am resultados Onde e como foi gasto determinado recurso O mesmo Elmer Staats em outro discurso proferido cerca de dois anos depois em 1978 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 23 na Confer ncia Centen ria do Auditor Geral do Canad publicado em 1979 afirmou Chegou se a uma concep o particularmente na Am rica do Norte no sentido de que a informa o estritamente financeira n o suficiente para informar a um administrador governamental que toma decis es acerca dos acertos e erros dos programas do governo V rios indicadores financeiros que servem de guia aos administradores do setor privado para tomar decis es t m muito menos utilidade para os administradores do governo que devem tomar tamb m decis es relativas a bem estar social e recursos humanos Na acontecimentos no contexto de uma grande
42. S o Paulo Editora Perspectiva 1999 170 p FAORO Raymundo Os donos do poder forma o do patronato pol tico brasileiro Rio de Janeiro Globo 1987 GARTENKRAUT Michal Brasil uma an lise do Plano Plurianual PPA 2000 2003 relat rio t cnico Michal Gartenkraut Bras lia IPEA 2002 HOUAISS Ant nio Dicion rio da L ngua Portuguesa S o Paulo Editora Objetiva 2001 KELSEN Hans Teoria geral do direito e do estado S o Paulo Martins Fonte 1995 MUGNATTO Silvia Plano estrat gico deve sofrer revis o anual Folha de S o Paulo Caderno Dinheiro B 8 S o Paulo 13 julho de 2003 PEREIRA Merval N s e o IDH O Globo Rio de Janeiro 10 de jul de 2003 Dispon vel em lt http oglobo globo com oglobo colunas merval htm gt Acesso em 10 de jul de 2003 SILVA Jos Afonso Curso de direito constitucional positivo 10 ed S o Paulo Malheiros 1995 SILVA Jos Graziano da BELIK Walter e TAKAGI Maya org Projeto Fome Zero S o Paulo Instituto Cidadania 2001 SPECK Bruno W Inova o e Rotina no TCU o papel da institui o superior de controle financeiro no sistema politico administrativo do Brasil S o Paulo Konrad Adenauer Stiftung 2000 WEISS Carol Evaluation Methods for studyng Programs and Policies 2 ed Upper Sadle River Prentice Hall 1998 SOBRE O AUTOR Benjamim Lima J nior nasceu em 13 11 1969 em Itapetinga BA Graduou se em Filosofia pela Universidade de Bras lia
43. Solid ria Ac rd o n 93 2003 TCU Plen rio e c focaliza o dos investimentos para evitar a pulveriza o de recursos identifica o de boas pr ticas e substitui o de indicadores de desempenho por outros mais relevantes Programa Saneamento B sico da Funda o Nacional de Sa de Funasa Ac rd o n 309 2003 TCU Plen rio QUADRO 1 MODELO DE INSER O DAS MODALIDADES DE AUDITORIA DE NATUREZA OPERACIONAL NA VIS O SIST MICA DA A O GOVERNAMENTAL AUDITORIA REALIZADA PRINCIPAIS MELHORIAS Redimensionamento dos servi os de inform tica prestados ao fundo o FNDE Fundo Nacional de que permitiu gerar redu o de despesas entre 1999 e 2001 da ordem Desenvolvimento da Educa o de R 4 4 milh es Planejamento da aquisi o de Diminui o do tempo para consolida o dos pedidos de medicamentos medicamentos tuberculost ticos de 32 dias em 1998 para 7 dias em 2001 Descentraliza o financeira mais equitativa considerando crit rios Erradica o do Aedes Aegypti epidemiol gicos demogr ficos e geogr ficos e elimina o de distor es na determina o do montante financeiro a ser transferido Melhoria no registro de movimenta o de processos no sistema de cadastramento dos sujeitos passivos da taxa de controle e fiscaliza o ambiental PERCENTUAL DE RECOMENDA ES IMPLEMENTADAS Fonte Relat rio de Atividades do TCU Exerc cio de 2002 112 Pr mio Serzedello Corr
44. TCU tem envidado esfor os no aprimoramento dos m todos e t cnicas de auditoria e na amplia o da capacita o de seu corpo t cnico Com essa realidade em mente foi realizado no ano de 2003 o concurso de monografias Pr mio Serzedello Corr a sobre o tema Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o A finalidade do certame foi ampliar o debate sobre a atua o do TCU e o signifi cado de suas a es nos quadros institucionais do Pa s O fruto deste esfor o caro leitor encontra se agora em suas m os Apresentamos neste volume as monografias vencedoras ADYLSON MOTTA Presidente do Tribunal de Contas da Uni o Sum rio PORTARIA TCU N 127 DE 19 DE MAIO DE 2003 I Colocado Avalia o de Programas P blicos no Brasil O Papel do Tribunal de Contas da Uni o Artur Adolfo Cotias e Silva Carlos Alberto Sampaio de Freitas 2 Colocado Avalia o de Programas e Responsabiliza o dos Agentes P blicos pelo Resultado da A o Governamental O Papel do Tribunal de Contas da Uni o Dagomar Henrique Lima 3 Colocado Avalia o de Programas P blicos no Brasil O Papel do Tribunal de Contas da Uni o O TCU e a Busca pelo Aprimoramento das Avalia es de Pol ticas P blicas no Brasil Benjamin Lima J nior 4 Colocado Avalia o de Programas P blicos pelo Tribunal de Contas da Uni o Perspectiva para a Maxima o de Resultados e Impactos por Meio do Uso Estrat
45. UnB onde mestrando do mesmo curso j tendo monografia publicada pelo CNPq Ex funcion rio do Banco do Brasil foi tamb m T cnico de Controle Interno da Secretaria Federal de Controle Interno atual Controladoria Geral da Uni o CGU e aprovado nos concursos de Agente e Escriv o da Pol cia Federal em 2002 Desde janeiro de 2003 exerce o cargo de Analista de Controle Externo do Tribunal de Contas da Uni o lotado na Seprog Secretaria de Avalia o de Programas de Governo Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 105 4 Colocado Avalia o de Programas P blicos pelo Tribunal de Contas da Uni o Perspectiva para a Maximiza o de Resultados e Impactos por Meio do Uso Estrat gico da Informa o Adriana de Oliveira Beal INTRODU O Ao se analisarem as tend ncias da administra o p blica nas ltimas d cadas constata se a exist ncia de um movimento mundial de reformas cuja preocupa o central est na cria o de governos orientados por resultados DUNLEAVY 1994 HOOD 1991 No Brasil as mudan as trazidas pela reforma do Estado trouxeram reflexos para a estrutura de controle da Administra o P blica colocada diante do desafio de incorporar novos instrumentos de controle Aos mecanismos de controle da legalidade para verificar a conformidade dos atos administrativos ou dos demonstrativos cont beis com as normas que os regem e do m rito cujo
46. a divulga o a todos os munic pios participantes do programa da norma operacional e manual operacional do PETI 8 1 12 agilize a operacionaliza o do repasse de recursos diretamente aos benefici rios por meio de cart es magn ticos a exemplo de experi ncias bem sucedidas realizadas em programas de governo de outras reas como o Bolsa Escola e o Bolsa Renda conforme previsto na Portaria n 458 de 4 de outubro de 2001 8 1 13 estimule os munic pios a manter e aprimorar a atividade relativa ao refor o escolar no mbito da Jornada Ampliada com nfase em escrita leitura e matem tica tendo em vista sua relev ncia na melhoria do desempenho escolar das crian as do PETI 8 1 14 promova a divulga o das experi ncias bem sucedidas dos munic pios conforme descrito nos itens 6 6 a 6 8 deste relat rio a fim de melhorar a qualidade das atividades desenvolvidas na Jornada Escolar Ampliada 8 1 15 busque a parceria com outros programas do Governo Federal no mbito dos Minist rios do Esporte e Turismo e da Educa o como forma de viabilizar a constru o de quadras esportivas transporte das crian as e amplia o de escolas priorizando a aloca o de recursos or ament rios para aquelas localidades onde o PETI esteja em funcionamento e cujos munic pios apresentam menor IDH 8 1 16 busque a mobiliza o e o engajamento da sociedade civil no PETI principalmente nos pequenos povoados como forma de sensibilizar a pr tica
47. a integrar mais constantemente os processos de discuss o das leis e de formula o de pol ticas p blicas no mbito do Poder Legislativo colaborando para o aperfei oamento do processo legislativo e para a tomada de decis o prof cua sobre aloca o de recursos para programas de governo 8 CONSIDERA ES FINAIS As medidas propostas neste trabalho t m como principal prop sito assegurar ao p blico externo do TCU acesso mais democr tico e eficaz s informa es sobre avalia o de programas coletadas tratadas e disseminadas pela Corte de Contas Sem exigir grandes investimentos essas medidas possibilitar o ao Tribunal expandir sensivelmente os efeitos das a es de avalia o de programas ampliando as oportunidades de ado o das melhores pr ticas de gest o melhorando a publicidade do controle final stico da administra o e aumentando o grau de satisfa o dos parlamentares e da sociedade com a atua o do Tribunal medida que cidad os parlamentares gestores e agentes de controle interno passem a consultar sistematicamente as informa es sobre avalia o de programas disponibilizadas pelo TCU prov vel que os impactos positivos sobre a elabora o de planos e or amentos a formula o de pol ticas p blicas e o aperfei oamento das a es de controle venham a se multiplicar trazendo retornos cada vez mais significativos para a sociedade REFER NCIAS BIBLIOGR FICAS AGUILAR M J ANDE
48. adotado de modo id ntico nos mais diversos pa ses no que se referia s inst ncias dos poderes controladores Alguns pa ses dotaram essa atribui o ao Poder Executivo outros ao Poder Judici rio Isso por m n o desconfigurou a id ia lockiana de inst ncias controladoras Tamb m percebidas por Locke foram as possibilidades e as realidades hist ricas de cada na o que acabam repercutindo seja no Legislativo seja nos demais poderes do Estado e consequentemente na atua o das Cortes de Contas Em cada contexto as necessidades de um pa s s o vari veis seja pelo uso de tecnologias seja pelo grau de matura o pol tica de um povo ou mesmo pelos problemas econ micos Tudo se reflete nos trabalhos dos Tribunais de Contas raz o pela qual um ou outro sistema deve ser adaptado a cada pa s 2 1 SURGIMENTO DO TRIBUNAL DE CONTAS DA UNI O NO BRASIL Um aspecto a se comentar para se referen dar os primeiros pap is do Tribunal de Contas no Brasil a influ ncia exercida pela Fran a na Hist ria brasileira Como na o mais influente na poca a influ ncia francesa repercutiu no processo de cria o de uma Corte de Contas 1 Houaiss Ant nio Dicion rio da L ngua Portuguesa Editora Objetiva 2001 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 77 no Brasil nos moldes da Cour des Comptes criada por Napole o em 1807 Este processo reafirmava a fun o do Parlamen
49. ao interesse p blico e democracia reconhece o poder dever de o controle externo examinar os resultados do ato administrativo vale dizer da a o p blica Esse exame deve levar em considera o a motiva o presente no ato administrativo ou na formula o da pol tica p blica os custos envolvidos em sua execu o os impactos previstos e obtidos sobre a realidade social e se vi vel as alternativas t cnicas poss veis N o se deseja simplesmente emular o setor privado de forma neutra e criar uma preocupa o econ mica com a redu o de custos n o importando as consegii ncias O interesse p blico deve sempre prevalecer o que importa a busca de valores fundamentais como o da equidade na presta o dos servi os O fundamental tornar a burocracia menos auto referida mais consciente dos custos de sua a o e preocupada em atender s necessidades dos cidad os 5 1 CONTROLE DO M RITO E RESPONSABILIZA O POR RESULTADO Ora parece claro que parase responsabilizar o administrador por resultados essencial examinar o m rito do ato administrativo Inegavel que a novidade constitucional do controle de m rito do ato administrativo sob os aspectos da economicidade e da legitimidade significa a inser o de um conte do pol tico TORRES 1991 De forma alguma se trata de pol tica partid ria mas de pol ticas p blicas Se a efic cia do controle externo depende do exame dentre outros aspectos da
50. chegue de forma tempestiva e no formato adequado queles que dela podem fazer uso para melhorar as pol ticas p blicas equacionar problemas de gest o e promover o fortalecimento do controle da aplica o dos recursos p blicos As medidas propostas no Cap tulo 7 mapear a informa o existente e as necessidades de informa o dos p blicos externos padronizar termos e aprimorar os processos de formata o e estrutura o das informa es criar uma biblioteca virtual para aumentar a acessibilidade da informa o e disponibilizar recurso para o recebimento autom tico de informa es selecionadas via correio eletr nico visam a ampliar a divulga o das informa es provenientes de a es de avalia o de programas Essas iniciativas exigem investimentos e tempo de implementa o relativamente baixos considerando se que a tecnologia necess ria j se encontra instalada e que o principal esfor o a ser despendido diz respeito formaliza o e implementa o de processos de classifica o tratamento e dissemina o da informa o mais eficazes e adequados s reais necessidades do p blico externo Entre os benef cios a serem obtidos pela ado o dessas medidas pode se citar A FORTALECIMENTO DO CONTROLE SOCIAL A adequada publicidade dos achados do TCU em a es de avalia o de programas melhora o entendimento da sociedade sobre o funcionamento da m quina p blica ajudando a criar condi es
51. coletadas na m dia devem estar relacionadas ao impacto que podem gerar aos programas e s a es relacionados s reas de compet ncia deste Tribunal 10 CONCLUS O NOVO PAPEL DO TRIBUNAL DE CONTAS DA UNI O Com a implanta o da avalia o formativa no mbito do TCU racionaliza o e homogeneidade do processo esperamos maior de pol ticas p blicas no Brasil Devido s do Tribunal de Contas foram adaptadas a este tipo de especificidades dos trabalhos trabalho algumas sugest es mais notadamente o processo de sele o de programas feito pelo TCU Seprog Decerto essas sugest es t m de ser implementadas prioritariamente voltadas para os formuladores de pol ticas p blicas que em virtude do complexo campo social padecem de limita es sobre o poss vel funcionamento desses programas Com a implanta o da cultura formativa de avalia es estaremos cada vez mais aptos a excluir dos programas valores subjetivos e em sua implanta o tamb m implementar instrumentos mais efetivos no processo decis rio de pol ticas p blicas A medida que for implementada a cultura formativa de avalia o pelo TCU os programas de pol ticas p blicas tamb m ficar o menos sujeitos a interrup es pois ser o previamente avaliados sendo portanto mais efetivos medida que contem com instrumentos que possam dirimir paralelamente execu o suas poss veis imperfei es As contribui es expostas
52. controle espelha n o s press es e id ias externas sua burocracia que indicam o modo como se deve controlar a gest o p blica mas e fundamentalmente fatores internos aos Estados nacionais que podem limitar e determinar a maneira como uma EFS conduz trabalhos de controle por resultados inclusive avalia o de programas Assim diferente da Gr Bretanha e mais pr xima norte americana a administra o p blica no Brasil extremamente fragmentada tanto em n vel pol tico quanto burocr tico Apesar da predomin ncia executiva sobre o Legislativo em mat ria de formula o de pol ticas p blicas os poderes s o divididos de forma n o muito clara O Executivo brasileiro extremamente fragmentado Os minist rios n o possuem uma comunidade forte de assessoramento em pol ticas p blicas inclusive os minist rios setoriais Nesse ambiente fragmentado em que opera o Tribunal de Contas da Uni o trabalhos de an lise e avalia o sobre pol ticas p blicas deveriam ser bem aceitos inclusive porque s o raros A principal fun o da EFS brasileira auxiliar o Congresso no exerc cio do 160 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Controle Externo Contudo existe alto grau de independ ncia do TCU perante qualquer outra inst ncia pois possui compet ncia para realizar trabalhos de fiscaliza o por iniciativa pr pria A partir da Constitui o de 1988 foi atribu da ao TCU a compet nci
53. da Bahia e de Pernambuco que poder o contar com o apoio t cnico do TCU e do DFID Department for International Development Minist rio do Desenvolvimento Internacional para desenvolverem trabalhos de avalia o com foco na redu o da pobreza e da desigualdade social Essa transfer ncia de informa es considerada aspecto fundamental dessa iniciativa medida que contribuir para ampliar a a o dessas institui es de controle em suas respectivas jurisdi es Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 81 4 1 1 AUDITORIAS REALIZADAS NA PRIMEIRA FASE DO PROJETO Segundo informa es constantes da p gina da Internet do TCU de 1998 a 2000 foram realizadas 18 auditorias operacionais nas reas de Sa de Educa o e Meio Ambiente Foram desenvolvidos sete novos documentos sobre t cnicas aplicadas s auditorias de natureza operacional SWOT e An lise de Risco de Auditoria Benchmarking Mapa de Produto e Indicadores de Desempenho Mapa de Processo Stakeholder An lise RECI Marco L gico e ainda realizado trabalho de revis o do Manual de Auditoria de Natureza Operacional Portaria n 144 GP 2000 e Portarias Segecex n 22 a 24 2000 39 a 40 2001 No per odo foram realizados dois Semin rios sobre o tema e v rios workshops Cerca de 10 cursos sobre auditoria de natureza operacional foram realizados com a participa o de servidores do Tribunal e de outro
54. de Anop realizados pelo TCU nos ltimos 3 anos 9 4 RODIZIOS DAS REAS A fim de visar ao atingimento de todas as reas estabelecidas propomos que obedecidos os par metros de realiza o de 4 das auditorias anuais nos programas descentralizados e de nos programas institucionais seja tamb m considerado um revezamento nas reas selecionadas Este mecanismo atuar de forma que todas as reas sejam abarcadas pelos processos de sele o de auditorias Assim pela uniformidade da sele o nas nove reas selecionadas Sa de Educa o Agr ria P blica Assist ncia Social Trabalho Gest o Ambiental Organiza o Seguran a Ci ncia e Tecnologia e Urbanismo prop e se que entre as oito auditorias executadas anualmente pela Seprog seja mantida a rotatividade em cada uma das reas selecionadas Dessa forma em obedi ncia ao par metro de proporcionalidade de programas ter amos anualmente quantificadas duas auditorias nos programas descentralizados e seis auditorias nos programas institucionais Ainda dentro dessa proposta tamb m deve ser observada a rotatividade de rea em cada tipo de auditoria de programas de forma que todas as reas sejam alcan adas seja nos programas de tipo descentralizado seja nos programas de cunho institucional Desse 98 Pr mio Serzedello Corr a 2003 Monografias Vencedoras modo as reas em que tenham sido realizadas auditorias em cada um dos tipos de programas
55. de Contas L amp C Revista de Direito e Administra o P blica S 1 n 31 jan 2001 p 10 13 TORRES Ricardo Lobo O Tribunal de Contas e o Controle da Legalidade Economicidade e Le gitimidade Revista do Tribunal de Contas do Estado do Rio de Janeiro Rio de Janeiro n 22 Jul 1991 pp 37 44 PRZEWORSKI Adam Sobre o desenho do Estado uma perspectiva agente principal In Re forma do Estado e Administra o P blica Gerencial Rio de Janeiro Funda o Get lio Vargas 1998 POLLITT Christopher Justification by Works or by Faith Evaluating the New Public Manage ment Evaluation vol 1 n 2 1995 pp 133 154 VILLACA Marcos Vin cios Contas P blicas e Descentraliza o Jornal do Brasil 30 5 1988 SOBRE O AUTOR Dagomar Henriques Lima mineiro de Belo Horizonte Bacharelou se em Estat stica na turma de 1990 da Escola nacional de Ci ncias Estat sticas Ap s trabalhar como estat stico em rg os p blicos dos Tr s Poderes redirecionou sua carreira para a administra o p blica Funcion rio do Tribunal de Contas da Uni o desde 1995 hoje Diretor T cnico na Secre taria de Fiscaliza o e Avalia o de Programas de Governo No TCU realizou uma s rie de avalia es de programas p blicos tanto como membro de equipe quanto como coordenador e supervisor de auditorias operacionais Atuou como participante e gerente do Projeto de Desenvolvimento de T cnicas de Auditoria de Natureza Opera
56. de di logo entre as inst ncias respons veis pelas implementa es e pelas avalia es de programas de governo O TCU disp e em sua estrutura institucional de uma Assessoria Parlamentar Aspar que pode desempenhar esse papel perante os formuladores Entendemos que esse crit rio 19 requisitado perfeitamente adequado aos tipos de trabalho que podem vir a ser desenvolvidos pelo TCU Isso obviamente n o exclui a hip tese de realiza o pelos pr prios formuladores de pol ticas de avalia es que julguem oportunas ainda que mais enf ticas em um ou outro programa mas representar t o somente uma integra o do Poder Legislativo com o Executivo na busca de aperfei oamento pr vio de programas de pol ticas p blicas Em recentes trabalhos o Instituto de Pesquisas Aplicadas Ipea e o N cleo de Estudos de Pol ticas P blicas NEPP Unicamp convergiram quanto ao entendimento de ado o da abordagem formativa a ser promovida na implementa o dos programas para que se possa obter informa es teis as eventuais corre es de processos Para Pedro Luiz de Barros esse tipo de avalia o particularmente til se o objetivo apoiar e fortalecer o desenvolvimento e a ger ncia de programas e projetos Em suas palavras a principal meta desse tipo de avalia o a aplicabilidade direta dos resultados em detrimento da descri o gen rica dos achados A Resolu o n 140 de 13 12 2
57. de inqu rito inspe es e auditorias de natureza cont bil financeira or ament ria operacional e patrimonial nas unidades administrativas dos Poderes Legislativo Executivo e Judici rio e demais entidades referidas no inciso Il grifo nosso 3 2 NOVO PAPEL DESENVOLVIDO A PARTIR DA CONSTITUI O DE 1988 AVALIA O DE PRO GRAMAS DE GOVERNO Embora encontremos na Constitui o de 1967 as primeiras refer ncias s possibilidades de o Tribunal efetuar as chamadas auditorias operacionais foi somente com a Constitui o Federal de 1988 que houve disciplinamento constitucional claro das atribui es do Tribunal voltadas n o somente para as atribui es de controle das finan as p blicas mas tamb m para o campo de operacionalidade das pol ticas p blicas Para ratificar as teses de harmoniza o entre os Poderes e se conformar ao disciplinamento Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 79 do or amento programa institu do em 1964 a Constitui o de 1988 estabeleceu o TCU como rg o auxiliar do Congresso Nacional reafirmando em seu primeiro cap tulo a independ ncia dos Poderes e tamb m ampliando em seu art 71 o leque de atua o do TCU no sentido de que este passou a contar tamb m com a possibilidade de execu o de auditorias operacionais Esse fato provocou grande mudan a no recente cen rio nacional j que na execu o de auditorias operacio
58. diversos programas avaliados Embora primeira vista essa constata o n o pare a Ya relevante interessante observar que esse tipo de atividade cara e exige um nivel de especializa o consider vel normalmente n o encontrado na administra o p blica federal muito menos nas estaduais ou municipais Se fossem contratadas empresas de consultoria ou mesmo funda es de apoio universit rio seriam despendidos recursos or ament rios da ordem de milhares de reais Acrescente se que os pesquisadores ligados ao meio acad mico oferecem respostas no timing adequado ao gestor e raciocinam sob o sistema de incentivos da academia quase nunca coincidentes com os da administra o p blica buscando novas perspectivas te ricas que implicam mudan as muito substanciais nos programas para serem implementadas ou desconsiderando alian as pol ticas que d o sustenta o ao projeto Pinto 1986 apud Garcia 2001 Outra poss vel contribui o diz respeito a utiliza o de t cnicas de marco l gico para an lise da pr pria formula o do programa Um programa com falhas na sua concep o l gica jamais atingir os objetivos para os quais foi criado O TCU ao proceder a uma avalia o formativa do programa pode contribuir para sua melhoria corrigindo eventuais falhas de formula o Finalmente o TCU pode ser consultado pelo Executivo sobre a viabilidade de implanta o de um programa sobre a eventual op
59. do novo sistema vigente frente a uma popula o que ainda n o dispunha de instrumentos capazes de frear as poss veis imperfei es estatais Com a afirma o e o predom nio constantes do sistema liberal houve a crescente necessidade de que os governos reafirmassem a posi o estatal de coes o Isso se deu principalmente pela implementa o for ada de um sistema de impostos que apesar de n o se constituir novidade cada vez mais ganhou contornos crescentes e mais organizados Com isso deu se tamb m a percep o de que ao Estado n o cabia somente ser a grande for a coatora ou o grande Leviat hobbesiano desfigurado e irrespons vel no trato da res p blica Ao Estado tamb m cabia a percep o de que s economias tomadas do cidad o comum seriam exigidas contrapartidas compat veis com o n vel de avan o tribut rio imposto por esse mesmo Estado Tal fato ocorreu com a instala o de inst ncias revisoras do papel legislador do Estado as chamadas cortes supremas a quem cabia a ltima palavra em termos de an lise das disposi es legais Assim o surgimento dos Tribunais e o das Cortes de Contas ligados em grande parte ao Poder Legislativo reafirmaram a tese de John Locke fil sofo ingl s de que ao Legislativo cabia o papel de fiscalizador do pr ncipe sem predom nio sobre os demais poderes mas com n tida percep o do aspecto controlador sobre seus atos Obviamente este processo constitutivo n o foi
60. do sistema de coleta do tratamento de esgoto sanit rio e dos servi os de abastecimento de gua o instrumento adequado seria a auditoria de desempenho operacional j para se estabelecer a efetividade do programa poder se ia fazer uso de uma avalia o de programa baseada em indicadores como taxas de interna o por esquistossomose e doen a diarr ica aguda para se determinar em que medida o programa consegue melhorar as condi es de sa de da popula o alvo Embora a express o avalia o de programa seja usada no Manual de Auditoria de Natureza Operacional do TCU para referenciar a modalidade de auditoria voltada ao exame da efetividade de um programa em seu sentido mais amplo o termo serve para designar qualquer estudo sistem tico cujo prop sito seja analisar o desempenho de um programa nesse contexto mais amplo que termo vem sendo usado no Relat rio Anual de Atividades do Tribunal TCU 2003a e nos sum rios executivos de auditorias realizadas em programas sociais publicados no site ou s tio do TCU sob o t tulo Avalia o de Programas de Governo 3 IMPORT NCIA DA AVALIA O DE PRO GRAMAS PELO CONTROLE EXTERNO Como visto no Cap tulo 3 o Tribunal de Contas da Uni o tem intensificado o uso de metodologias de avalia o de programas governamentais tendo em vista a amplia o de sua capacidade de controle final stico da Administra o P blica Neste Cap tulo ser analisada a import
61. dos servi os de inform tica no FNDE TCU 20034 pode se imaginar que as re comenda es efetuadas para proporcionar Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 115 esse resultado seriam igualmente teis para outras organiza es p blicas com problemas semelhantes Da mesma forma o benef cio alcan ado no Programa de Erradica o do Aedes Aegypti descentraliza o financeira mais equitativa considerando crit rios epidemiol gicos demogr ficos e geogr ficos e elimina o de distor es na determina o do montante finan ceiro a ser transferido muito provavelmente poderia ser reproduzido em outras a es de prote o sa de QUADRO 2 POTENCIAL DE REAPROVEITAMENTO DE LI ES APRENDIDAS EM PROCESSOS DE AVALIA O DE PROGRAMAS NO AMBITO DO TCU Auditoria realizada Principais melhorias Potencial de reaproveitamento Redimensionamento dos servi os de inform tica Outras organiza es p blicas poderiam beneficiar se prestados ao fundo o que permitiu gerar do conhecimento dos bons resultados alcan ados redu o de despesas de 1999 a 2001 da ordem pela implementa o das medidas propostas de R 4 4 milh es Planejamento da aquisi o de Diminui o do tempo para consolida o dos Processos similares poderiam valer se das medicamentos tuberculost ticos pedidos de medicamentos de 32 dias em 1998 mesmas medidas para redu o do tempo total de
62. for Money valor do dinheiro e utiliza os seguintes conceitos para os 3 Es Economia relaciona se com a minimiza o de custos dos recursos adquiridos ou consumidos sem perda da qualidade devida ao produto do trabalho gastando menos e Efici ncia relaciona o produto o servi o e os outros resultados gerados com os recursos utilizados para produzi los Dados os insumos como eu posso maximizar meu resultado Ou dado 150 Pr mio Serzedello Corr a 2003 Monografias Vencedoras meu resultado esperado como minimizar meus insumos gastando bem e Efetividade relaciona meu resultado esperado com o resultado atual de programas projetos ou outras atividades Em que medida a gera o de bens servi os e os outros resultados alcan ados atingiram os objetivos definidos para determinada pol tica p blica os objetivos operacionais e os outros efeitos desejados gastando sabiamente Al m dos 3 Es o NAO realiza seus estudos com base em crit rios de boas pr ticas de gest o que significam julgar a efetividade do gerenciamento Ademais o Controlador Geral daquele rg o pode determinar o exame dos resultados alcan ados sobre projetos individuais programas e outras atividades relatando o posteriormente ao Parlamento 5 2 FINL NDIA No mbito do Escrit rio de Estado de Auditoria da Finl ndia o objetivo da auditoria de desempenho inclui economia efici ncia e efetividade do gerenciament
63. gio dos trabalhos feitos pelo TCU em auditorias operacionais que pode ser considerado eficiente as avalia es ocorrem partindo do pressuposto de que as pol ticas p blicas estejam corretas Em nosso entendimento as pr prias pol ticas podem ser avaliadas j em seu car ter formativo Ao ado o da avalia o formativa pelo Tribunal enfatizarmos a necessidade de de Contas da Uni o em conjunto com homogeneiza o das reas abarcadas estaremos atuando seja no aperfei oamento dos processos formuladores de pol ticas de governo seja nos aspectos de neglig ncia dos processos Com efeito neste Cap tulo procuraremos expor as metodologias atualmente utilizadas pelo TCU na de governo e como feita a sele o sele o dos programas dessas auditorias Tamb m em busca de aperfei oamento proporemos novas formas de sele o a serem adotadas pelo TCU Seprog quanto aos programas de pol ticas no Plano p blicas do Brasil existentes Plurianual PPA 9 1 RECLASSIFICA O DOS PROGRAMAS DE GOVERNO Em busca de adequa o a nossos objetivos reclassificamos os 365 programas de governo constantes do PPA 2000 2003 de modo que atendamos s metas dos trabalhos da Seprog Este modelo de classifica o poder ser refeito quando da edi o do novo PPA 2004 2007 previsto para 31 8 2003 de forma que os estudos de viabilidade realizados pelo TCU 2 Fizemos uma reclassifica o do PPA de forma que to
64. implementa o e impacto Al m disso avalia es podem ser realizadas n o somente em programas de governos mas tamb m e muitas vezes em pol ticas rg os e atividades governamentais A demonstra o fundamental deste ensaio que a EFS brasileira ao contr rio do que ocorre com a brit nica por exemplo e mais proximamente do modelo da norte americana possui legitimidade institucional em decorr ncia das caracter sticas socioculturais da administra o p blica nacional para atuar em todos os crit rios de auditorias de desempenho incluindo an lise de efetividade bem como para realizar avalia o de programa que analise o impacto da atua o estatal Argumenta se que o ferramental metodol gico aplicado pelo TCU deve ser expandido de forma a agregar mecanismos de avalia o de impacto da gest o p blica bem como de an lise de pol ticas p blicas tanto nas dimens es retrospectivas quanto nas informa es prospectivas relevantes decorrentes de sua an lise para formuladores de pol ticas p blicas especialmente o Congresso Nacional mas tamb m o Executivo pol tico Os atuais instrumentos de controle do TCU s o apropriados para an lise de pr ticas de gest o mas ainda insuficientes para an lise de m dio e longo prazo de impactos de pol ticas p blicas Al m disso a an lise n o permite de forma sistem tica que se alcancem resultados de fiscaliza o que possam de forma tempestiva influenci
65. lembrar que esse a programa na verdade um conjunto de 20 a es com or amento total perto de 4 6 bilh es de reais muitas delas verdadeiros programas com objetivos pr prios insumos e produtos espec ficos p blico alvo distinto etc administrados por setores diferentes do Fundo Nacional de Desenvolvimento da Educa o FNDE Pois bem uma das a es do Toda Crian a na Escola o programa Sa de do Escolar que se prop e entre outras coisas a entregar culos para cerca de 6 das crian as matriculadas na l s rie da rede p blica de ensino O relat rio de avalia o do PPA referente a 2001 constante do Sistema de Informa es Gerenciais e de Planejamento SIGPlan http www sigplan gov br acesso Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 51 em 25 de julho de 2003 faz uma nica men o ao Sa de do Escolar para afirmar que ele junto com a Alimenta o Escolar o Livro Did tico a Biblioteca na Escola e o Transporte Escolar algumas das 20 a es do Toda Crian a na Escola tiveram excelente desempenho Nem mais uma palavra Basta comparar a avalia o apresentada no SIGPlan com a realizada pelo Tribunal de Contas em 2001 BRASIL 2002d Decis o n 712 2002 Plen rio para se ter id ia da import ncia de uma avalia o independente O TCU concluiu que a a o tinha efic cia de apenas
66. monografias sobre temas relacionados com a atua o do Tribunal de Contas da Uni o e o significado de suas a es nos quadros institucionais do Pa s resolve Art 1 O Pr mio Serzedello Corr a 2003 reger se pelas normas que constam desta Portaria DO TEMA E DOS PR MIOS Art 2 Ser destinada s tr s melhores monografias in ditas sobre o tema Avalia o de Programas P blicos no Brasil o Papel do Tribunal de Contas da Uni o a premia o total l quida j descontado o imposto de renda retido na fonte de R 32 000 00 trinta e dois mil reais assim distribu dos R 15 000 00 quinze mil reais para o primeiro lugar Il R 10 000 00 dez mil reais para o segundo lugar e IIl R 7 000 00 sete mil reais para o terceiro lugar Par grafo nico A Comiss o Julgadora atribuir men es honrosas s monografias classificadas em quarto e quinto lugares DA INSCRI O E DOS TRABALHOS Art 3 Qualquer cidad o brasileiro maior de dezoito anos exce o dos membros da Comiss o Julgadora e de seu Secret rio Executivo poder concorrer ao pr mio sobre o qual disp e esta Portaria Art 4 As monografias dever o ser entregues at 8 de agosto de 2003 no Centro de Documenta o CEDOC situado no Edif cio Sede do TCU SAFS Quadra 4 Lote CEP 70 042 900 Bras lia DF das h as 18h30 ou remetidas at a referida data ao mesmo endere o por meio de SEDEX destinado Ao Pr mio Serzedel
67. n o sendo destinados gratuitamente aos autores 50 cinquenta exemplares da primeira edi o que ser o divididos em caso de co autoria Par grafo nico O Tribunal de Contas da Uni o poder realizar a revis o dos textos das monografias segundo os padr es da norma culta da l ngua portuguesa para fins de publica o sem necessidade de autoriza o pr via dos autores Art 19 Os originais n o ser o devolvidos aos autores sendo destru dos ap s 90 noventa dias da proclama o dos vencedores Art 20 A participa o no certame implica a aceita o por parte dos concorrentes de todas as exig ncias regulamentares pertinentes e o n o cumprimento de qualquer uma delas acarretar desclassifica o Art 21 Os casos omissos ser o resolvidos pela Comiss o Julgadora e ap s a dissolu o desta pelo Presidente do Tribunal de Contas da Uni o Art 22 Esta Portaria entra em vigor na data de sua publica o VALMIR CAMPELO Publicada no DOU de 22 05 2003 Se o pag 63 10 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 11 Monografias Vencedoras 1 Colocado Avalia o de Programas P blicos no Brasil O Papel do Tribunal de Contas da Uni o Artur Adolfo Cotias e Silva Carlos Alberto Sampaio de Freitas INTRODU O Originada das ci ncias sociais na d cada de 30 a avalia o de programas consi
68. ncia esse fato aumenta a probabilidade de desist ncia de interessados desejosos de aprofundar seus conhecimentos sobre avalia o de programas no mbito do TCU uma vez que a informa o completa procurada de dif cil localiza o 6 PROPOSTAS PARA O APRIMORAMENTO DA GEST O DA INFORMA O SOBRE AVALIA O DE PROGRAMAS NO MBITO DO TCU Nos evidenciar os benef cios que a adequada cap tulos anteriores procurou se publicidade da informa o podem trazer para a efetividade da avalia o de programas no mbito do TCU bem como analisar os principais pontos fracos observados no TCU com rela o a divulga o de informa es para o p blico externo Neste Cap tulo ser o apresentadas algumas sugest es para melhor aproveitamento do potencial da informa o proveniente de a es de avalia o de programas em benef cio da sociedade 126 Pr mio Serzedello Corr a 2003 Monografias Vencedoras 6 1 MAPEAMENTO DA INFORMA O EXIS TENTE As informa es de uma organiza o prov m de diversas fontes s o usadas para finalidades variadas e ficam armazenadas em uma diversidade de meios e formatos o que contribui para que o tempo gasto na localiza o de uma informa o costume ser consider vel na maioria das organiza es DAVENPORT 2001 Com um mapa da informa o o usu rio pode ser conduzido rapidamente ao local em que os dados se encontram aumentando substancialmente a possibilidade de serem
69. ncia produzidos t m seus t tulos listados para acesso direto pelos interessados por meio de links Se o Special Collections estando tamb m dispon veis todos os relat rios agrupados por per odo de publica o link Month in Review e uma ferramenta de pesquisa para a localiza o de relat rios espec ficos mediante o uso de palavras chave Find GAO Reports FIGURA 7 P GINA DE ACESSO AOS RELAT RIOS PUBLICADOS PELO GAO The United States General Accounting Office Microsoft Internet Explorer Arquivo Editar Exibir Favoritos Ferramentas Ajuda e Frames No Frames SiteMap Inthe News Search Home The United States General Accounting Office GAO Reports Full Text Search Go This page was last revised April 28 2003 Today s Reports Month in Review Updated daily Daily lists of issued reports testimony and correspondence for the current day and the previous three months sorted by date Lists provide links to available electronic reports 1991 More search options Special Collections From the e g Comptroller General shield and Desert Storr e GAO Best Practices Work Reviews Comparative GAO Reports Reports and Testimony Updated daily Lists of reports correspondence and testimony published in the past two days one week or one month Displays date published title topic report summary and links to available electronic reports Legal Products Other Publications FraudN
70. no Brasil luz das id ias da NGP n o h espa o para dogmatismos Situa es diferentes exigem arranjos deferentes mesmo dentro de um mesmo pa s ou esfera de governo N o poss vel transplantar pura e simplesmente id ias bem sucedidas em outros pa ses nem abrir um livro de um dos papas da NGP e sair aplicando cegamente seus conselhos No entanto poss vel aprender com base nas diversas experi ncias internacionais Mas acima de tudo preciso gerar conhecimento sobre a realidade brasileira fortalecer a capacidade de an lise do Pa s para fundamentar propostas e convencer tomadores de decis o Conforme argumentado por Polidano 1999 parece que o ecletismo pode ser boa op o para o Brasil e outros pa ses em desen volvimento Os diferentes n veis de desenvolvi mento da burocracia brasileira nos diversos se tores da administra o bem como a exist ncia de setores modernos na sociedade brasileira ao lado de estruturas sociais ultrapassadas podem sugerir que se adote uma combina o de ar ranjos t picos da burocracia tradicional com preceitos da NGP Ali s como j havia consta tado Pollitt 1995 os princ pios da NGP tor naram se uma esp cie de cesta de compras na qual os pa ses coletam id ias para modernizar o Setor P blico de acordo com as possibilidades de cada um O ecletismo dos controles imp e nus ao controle externo N o se pode descurar do controle tradicional e ao mesmo tempo n
71. no n vel local as estruturas olig rquicas existentes e a falta de qualifica o t cnica para o controle limitam a a o dos cidad os da imprensa e das entidades da sociedade civil organizada A responsabiliza o mediante competi o administrada consiste na inser o de mecanismos de mercado no Setor P blico Simula se uma situa o de competi o entre provedores de servi os p blicos ag ncias executivas rg os da Administra o Direta ou Indireta concession rios que evidencia desempenhos d spares premia a boa performance e penaliza o mau desempenho O mecanismo pode ser muito simples como a compara o e a publica o de indicadores de desempenho que evidenciem as diferen as de resultados e estimulem ganhos de desempenho Nesse caso evidencia se sua conex o com a responsabiliza o por resultados e o controle social exercido com o aux lio da imprensa sobre as ag ncias unidades que apresentam resultados insatisfat rios Modos mais ousados e operacionalmente complexos de competi o administrada envolvem por exemplo a concess o de bolsas de estudos aos alunos que de posse da verba correspondente procuram no mercado as escolas mais bem conceituadas Assim as escolas que apresentam melhor qualidade recebem mais recursos e s o premiadas enquanto as demais s o estimuladas a atingir um padr o que possibilite sua sobreviv ncia Por vezes a administra o da competi o fundada em contratos e f
72. o de programas expandido o para alcan ar as atividades desenvolvidas por EFS A pr pria escola de avalia o de programas vem aceitando o alargamento desse conceito original Essa escola argumenta que todas as fases do ciclo de vida de pol ticas governamentais s o relevantes para a avalia o de programas sempre dentro de uma perspectiva retrospectiva incluindo tr s fases 1 cria o e formula o de pol ticas p blicas 2 implementa o de pol ticas p blicas 3 impactos e resultados de pol ticas p blicas CHELIMSKY 1985 p 8 As dimens es em que EFS v m atuando possuem interface muito forte com a avalia o de programas contudo s o menos cient ficas e analisam outros aspectos dos processos de formula o e implementa o Avalia o de Programas a aplica o sistem tica de m todos de pesquisa para analisar e avaliar o design a implementa o e a efetividade de determinado programa ou pol tica governamental A literatura e a doutrina recentes sobre avalia o na esfera governamental v m sustentando que essa deve se importar n o somente com a an lise retrospectiva de pol ticas p blicas mas e fundamentalmente com as consequ ncias dessas avalia es para o planejamento das pol ticas p blicas ou seja a garantia que as avalia es sirvam de feedback efetivo ao processo de formula o e planejamento na esfera p blica Mais programas est vinculada a atividades de tradic
73. o e ao dos recursos p blicos federais A tarefa de identificar as necessidades de informa o dos diferentes usu rios externos de servi os informacionais do TCU exige portan to o uso de metodologias que favore am a des coberta das informa es a serem ofertadas e dos melhores meios de atender s necessidades e s expectativas dos p blicos alvo Para tanto crucial conhecer os clientes da informa o Cada tipo de cliente gestor agente do contro le interno parlamentar m dia cidad o comum possui necessidades informacionais distintas e uma mesma informa o quando requisitada por clientes de perfis diversos pode deman dar diferentes caracter sticas de organiza o e apresenta o que somente poder o ser pro videnciadas se houver entendimento claro das demandas e das expectativas desses usu rios O mapeamento das necessidades de informa o do p blico externo possibilitaria ao TCU planejar com mais efic cia o desenvolvimento de sistemas e os investimentos futuros em tecnologia da informa o ao assegurar entendimento mais claro daquilo que priorit rio com rela o s demandas e s expectativas do Congresso Nacional da sociedade e dos demais segmentos interessados em informa es sobre o controle externo 6 3 APRIMORAMENTO DOS PROCESSOS DE FOR MATA O E ESTRUTURA O DA INFORMA O DESTINADA AO P BLICO EXTERNO A preocupa o cont nua com a busca da melhor forma para se apresen
74. o formal da legalidade e material controle economicidade sintetizadas no da legitimidade Dessa forma a cria o constitucional confere efic cia s normas financeiras e or ament rias permitindo o exame formal das contas da legalidade dos atos de gest o bem como da justeza da rela o Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 57 entre o custo dos insumos e os benef cios gerados pela a o do Estado Villa a 1988 citado por Torres 1991 afirma que a legitimidade formal das a es do Governo sua conformidade lei legalidade Segundo o mesmo Autor a legitimidade substantiva envolve o emprego dos recursos p blicos socialmente segundo desejado tecnicamente fact vel e economicamente eficiente Segundo Affonso 2001 a legitimidade representa a conformidade do ato da autoridade administrativa com a teoria do poder ou a pr pria ordem democr tica Assim o ato deve atender ao interesse p blico e ao princ pio da razoabilidade Assim no Estado Social de Direito que se deseja construir o cidad o teria meios de verificar ou de provocar a verifica o arts 74 8 2 e 31 8 3 da Constitui o Federal da adequa o dos benef cios oferecidos pelo Estado em troca do seu sacrif cio econ mico materializado nos tributos Fica claro desse modo que a boa interpreta o dos princ pios da economicidade e da legitimidade que melhor atende
75. o programa conceituado como Jo instrumento de organiza o da a o x governamental visando concretiza o dos objetivos pretendidos sendo mensurado por indicadores estabelecidos no plano plurianual BRASIL 1999b art 2 Os indicadores s o representados por uma rela o ou uma taxa entre vari veis relevantes que permitem medir a evolu o do problema social que se deseja solucionar Deve ser coerente com o objetivo do programa ser sens vel ao efeito das principais a es de governo e apur vel em tempo oportuno BRASIL 2003a O manual t cnico do planejamento oferece mais detalhes sobre o conceito de programa instrumento de organiza o da atu a o governamental o qual articula um conjunto de a es que concorrem para um objetivo comum preestabelecido mensurado por indicadores constantes no Plano Plurianual visando solu o de um problema ou atendimento de uma necessidade ou demanda da sociedade BRASIL 20003 A concep o do programa como o instrumento de organiza o da a o visando a governamental concretiza o dos objetivos pretendidos fruto de sucessivos aperfei oamentos no processo de planejamento No entanto o Decreto n 2 829 1998 BRASIL 1998a o marco legal que conferiu ao programa uma dimens o gerencial A partir do PPA 200 2003 BRASIL 2000b todas as a es de governo foram estruturadas em programas voltados para a solu o de problemas da soci
76. o social De acordo com o pensamento de Silva 1992 avaliar deriva de valia que significa valor Portanto avalia o corresponde ao ato de determinar o valor de alguma coisa A todo momento o ser humano avalia os elementos da realidade que o cerca Aguilar amp Ander Egg em obra de 1994 apresentam a seguinte defini o de avalia o A avalia o uma forma de pesquisa social aplicada sistem tica planejada e dirigida destinada a identificar obter e proporcionar de maneira v lida e con fi vel dados e informa o suficiente e relevante para apoiar um ju zo sobre o m rito e o valor dos diferentes compo nentes de um programa tanto na fase de diagn stico programa o e execu o ou de um conjunto de atividades espe c ficas que se realizam foram realizadas ou se realizar o com o prop sito de produzir efeitos e resultados concretos comprovando a extens o e o grau em que se deram essas conquistas de for ma a que sirva de base ou guia para uma tomada de decis o racional e inteligente entre cursos de a o ou para solucionar problemas e promover o conhecimento e a compreens o dos fatores associados ao xito ou ao fracasso de seus resul tados mais em 1997 Contandriopoulos cunhou o seguinte conceito Um pouco tarde avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma interven o ou sobre qualquer um dos seus componentes com o objetivo d
77. ocorr ncia de erros e fraudes C MATERIALIDADE A materialidade de um programa considerada maior de acordo com os valores financeiros despendidos Assim quanto maior forem os valores envolvidos este programa ser considerado de maior materialidade 9 6 ITENS A SEREM ACOMPANHADOS Al m dos itens referentes aos crit rios de risco relev ncia e materialidade e not cias na m dia j explicitados dever o ser coletadas as seguintes informa es gt Nome descri o e c digo do programa Objetivos geral e espec ficos legisla o p blico alvo Data de cria o in cio da execu o raz o da entrada na Agenda Governamental Cobertura atual custo per capita popula o valor do or amento Realiza es e indicadores f sicos e financeiros ltimos 3 anos VN NV vv Previs o de realiza es e seus indicadores f sicos e financeiros metas nos ltimos 3 anos 102 Pr mio Serzedello Corr a 2003 Monografias Vencedoras gt Respons veis organiza es e atores nos n veis federal estadual e municipal por rg os e por atribui o gt Mapa de elos cr ticos do processo decis rio do programa na esfera estatal Executivo Legislativo e Judici rio nos tr s n veis de governo e na esfera social gt Exist ncia de trabalhos de auditoria TCU SFCI auditoria independente etc ou pesquisas acad micas gt Informa es complementares Ressaltemos que as informa es
78. organiza es p blicas de alto desempenho e inova es quanto ao controle parlamentar e e reformas do servi o p blico canadense li es de outras jurisdi es 5 9 DINAMARCA Em 1926 houve reforma no sistema de auditoria governamental na Dinamarca que removeu os aspectos puramente financeiros e legalistas das auditorias acrescentando lhes dimens es mais econ micas ou de desempenho O controle externo desse Pa s exercido de forma conjunta por um Comit Parlamentar de Contas P blicas e o Escrit rio do Auditor Geral A abordagem do Escrit rio leva em considera o tr s diferentes elementos economia relaciona se com a maneira pela qual os recursos s o adquiridos Por exemplo se os bens e os servi os s o adquiridos a um pre o correto na quantidade e na qualidade necess rias etc e produtividade avaliada por meio da rela o entre o consumo de recursos pelo total de bens e servi os produzidos pela organiza o e efetividade avaliada por meio da extens o em que os objetivos s o atingidos em rela o aos recursos utilizados At 1991 o Escrit rio Dinamarqu s pertencia ao Executivo Naquele ano ele foi transferido para o Parlamento O impacto dos trabalhos do Auditor Geral se faz sentir nas reformas levadas a efeito naquele Pa s sob pelo menos tr s aspectos O Auditor Geral tem avaliado os sistemas de informa o de desempenho usados para medir o uso de rec
79. os instrumentos de planejamento e or amento p blico S o eles a o plano plurianual PPA b as diretrizes or ament rias LDO e os or amentos anuais LOA O PPA estabelece para o per odo de quatro anos de forma regionalizada diretrizes objetivos e metas da administra o p blica federal para as despesas de capital e as outras delas decorrentes e para as relativas aos programas de dura o continuada o planejamento de m dio prazo do Governo ALDO compreende as metas e as prioridades da administra o p blica federal para o ano or ament rio incluindo as despesas de capital para o exerc cio financeiro subsequente orienta a elabora o da lei or ament ria anual disp e sobre as altera es na legisla o tribut ria e estabelece a pol tica de aplica o das ag ncias financeiras oficiais de fomento O or amento anual ou Lei de Meios por sua vez documento autorizado pelo Legislativo contendo a discrimina o da receita e da despesa de forma a evidenciar a pol tica econ mico financeira e o programa de trabalho de governo obedecidos os princ pios Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 53 de unidade universalidade e anualidade ALENCAR 1984 Logo se v que existe a necessidade de um elemento que sirva de elo entre os citados t tulos legais em mat ria or ament ria e entre estes e a atividade de gest o governamental Esse elemento
80. princ pio da economicidade menos flu do e mais real ao mundo do Direito do que princ pios mais tradicionais e aceitos pela doutrina como o da moralidade A economicidade a parcim nia ou a modicidade nos gastos p blicos evitando se desperd cios e procurando obter bons resultados na atua o da Administra o com o menor custo poss vel AFFONSO 2001 Nesse sentido o procedimento licitat rio um dos instrumentos b sicos da economicidade O princ pio da economicidade fundamental para o equil brio do Estado Democr tico ao balancear a prerrogativa do Poder P blico de taxar e os direitos dos administrados propriedade e presta o do servi o p blico de qualidade a um pre o justo Logo trata se de um compromisso econ mico com o cumprimento de metas inseridas no bin mio custo e benef cio MATA 1994 Uma sociedade composta de cidad os conscientes e institui es maduras lan a m o do princ pio da economicidade para impor limites ao Estado denunciar e fiscalizar Ao exercitar o princ pio da economicidade s o estabelecidos crit rios de avalia o do desempenho da atividade estatal que vincula o Poder P blico a um compromisso com for a impositiva MATA 1994 O texto constitucional de 1988 ao criar o controle externo da legitimidade inovou e da economicidade ao lado do tradicional controle da legalidade Segundo Torres 1991 a Constitui o passou a distinguir entre fiscaliza
81. realizadas O quarto e ltimo cap tulo antes de serem apresentadas as conclus es analisa as formas de contribui o que pode dar o Tribunal de Contas da Uni o ao atuar em cada um dos pap is desenhados no modelo apresentado de modo a agregar valor p blico as a es governamentais avaliadas e explorar possibilidades ainda n o desenvolvidas pela Corte de Contas de nosso Pa s I CONHECIMENTOS PRELIMINARES Antes de avan ar sobre o tema Avalia o de Programas P blicos entendemos necess rio que se procure estabelecer uma id ia consensual acerca do que seja avalia o do que seja programa e do que seja avalia o de programas Do mesmo modo necess rio conhecer antecipadamente os tipos de avalia o existentes os principais objetivos que se espera da avalia o de programas e outros conceitos e id ias similares A todo esse conjunto denominamos conhecimentos preliminares Para a assimila o desse conhecimento vamos recorrer a conceitos estabelecidos por alguns autores dedicados ao assunto de forma a melhor explorar as possibilidades e implica es dos termos e permitir um melhor aprofundamento no exame do tema proposto 1 CONCEITOS DE AVALIA O Para Rossi amp Freeman 1982 avalia o ou pesquisa avaliativa a aplica o sistem tica de procedimentos de pesquisa cient fica para verificar a conceitualiza o design implementa o e utilidade dos programas de interven
82. refletem o pensamento de que o constante aprimoramento das pol ticas p blicas se coaduna com a percep o de que existem imperfei es na formula o de tais pol ticas Caso partamos desse pressuposto requisi es propostas e interven es feitas seja pelo Tribunal de Contas da formuladores s o contribui es que enfatizam Uni o seja diretamente pelos a maturidade na an lise de equ vocos nos processos governamentais Para tanto al m dos melhoramentos t cnicos aqui requisitados ser necess ria a ado o de formas dial gicas que envolvam as esferas pol ticas dos diversos poderes Importante ressaltarmos que as gest es institucionais feitas pelo TCU conforme descrito em seu Plano Estrat gico 2003 2007 e o bom n vel t cnico de seu quadro funcional resultado de sua pol tica de recursos humanos t m conseguido atender com efetividade s tarefas que lhe s o requisitadas Assim as poss veis contribui es em busca do aprimoramento de avalia es partem de n veis que envolvam di logos entre os poderes de Estado Tamb m devemos aqui enfatizar as constantes a es feitas pelo TCU seja pelo Instituto Serzedello Corr a seja pela Seprog Um dos ltimos exemplos o chamado Di logo P blico a ser aplicado neste e no pr ximo ano 29 Segundo o Manual de Auditoria Operacional do TCU o impacto da a o governamental deve ser entendido como o resultado l quido produzido por um programa ou um pr
83. ser analisadas combinando as com as vari veis custo tempo quantidade qualidade e equidade Por exemplo poss vel medir a disponibilidade de um produto p blico para grupos mais vulner veis da popula o realizando se assim uma an lise de efic cia combinada com equidade O conceito de efici ncia muito importante tanto para a NGP quanto para a situa o conjuntural de restri o fiscal pela qual passam os pa ses em desenvolvimento Para superar as restri es or ament rias esses pa ses podem valer se de mecanismos que proporcionem ganhos de efici ncia SCHICK 1999 Uma 4 das possibilidades a melhoria do processo de aloca o de recursos entre os programas p blicos priorizando aqueles que gerem maior impacto social Trata se do conceito de efici ncia alocativa que pode ser mensurada mediante avalia o de efetividade ou avalia o somativa como ser visto a seguir Outra forma de melhorar a aplica o de recursos observar dentro dos programas se suas atividades s o organizadas de modo a produzir mais por menor custo o que corresponde ao conceito de efici ncia operacional Esse aspecto pode ser examinado por interm dio de avalia o de efici ncia e de efic cia ou avalia o formativa 2 1 TIPOLOGIA As avalia es podem ser classificadas segundo uma s rie de aspectos A seguir s o apresentados os principais Do ponto de vista temporal as avalia es podem ser ex ante ou ex po
84. ser propositiva tempestiva e servir ao processo de tomada de decis o protagonizado pela esfera pol tica e pela alta ger ncia sabido que os gestores sabem muito mais sobre o desempenho dos seus programas do que os respons veis por elaborar o or amento Dessa forma os gestores podem capturar os elaboradores do or amento manipulando as informa es para conseguir o que desejam Casos paradigm ticos s o os programas da rea da sa de em quase todo o mundo Os custos da rea da sa de crescem em ritmo superior aos do restante da economia por algumas raz es press o social para a incorpora o r pida de inova es nas reas farmac utica e tecnol gica envelhecimento da popula o que provoca o aumento da incid ncia de doen as cr nicas e degenerativas de alto custo de tratamento bem como do tempo de interna o hospitalar para tratamento O gestor voltado para insumos no lugar de para resultados estar sempre pronto a provar o aumento de seus custos para demandar mais recursos Naturalmente os elaboradores do or amento pouco poder o dizer sobre mudan as nas pr ticas adotadas na rea da sa de que poderiam gerar ganhos de efici ncia capazes de superar o aumento de custos Assim os gestores ganham poder de barganha para pressionar por mais recursos Outro exemplo da necessidade de se criar um sistema de mensura o confi vel do desempenho no Brasil o programa Toda Crian a na Escola Vale
85. sido muito menos frequentemente investigados que essas quest es apesar da Intosai ter definido que os 3 Es constituem o cerne da auditoria de desempenho De acordo com Barzelay 1997 auditoria de desempenho um nome incompleto para definir todos os modelos cognitivos mentais que essa atividade de avalia o e controle governamental incorpora Os crit rios de auditoria de desempenho segundo o autor podem ser vistos como subcategorias do nome auditoria de desempenho denominadas de tipos Estes correspondem de certa forma aos crit rios de auditoria na concep o definida por Pollitt O autor salienta que a atividade de auditoria de desempenho uma atividade de avalia o na maioria das pr ticas Portanto corrobora se o argumento desenvolvido neste trabalho de que o TCU deve incorporar o conte do metodol gico da avalia o de programas agregando o s suas pr ticas de auditoria e definindo essas novas pr ticas como auditoria de desempenho no caso do Brasil devido ao mandato constitucional auditoria de desempenho operacional O escritor classifica os seguintes tipos de auditoria e de efici ncia examina as fun es organizacionais os processos e os elementos de programa para avaliar se os insumos est o sendo transformados em produtos de forma 08 International Organization of Supreme Audit Instituion Intosai uma entidade que re ne as institui es de controle externo em n vel mundial na bu
86. sigma As duas revis o ex post da atividade governamental esp cies fundamentais de acima podem ainda ser distinguidas pelos modelos mentais com os quais se idealiza o funcionamento governamental BARZELAY 1997 p 387 Auditoria de conformidade estaria nesse caso relacionada ao modelo mental de funcionamento do governo como uma m quina burocr tica orientada por regras e normas r gidas MintzBers 1983 p 163 Auditoria de desempenho estaria mais relacionada com um tipo particular de burocracia denominado burocracia profissional Ibid p 189 com base em mais imparcialidade capacidade t cnica e profissionaliza o A Administra o P blica Progressista APP e a Nova Gest o P blica NPG podem ser definidas como filosofias administrativas Hoop Jackson 1991 Hoop 1994 4 Filosofias administrativas podem ser caracterizadas como um conjunto de doutrinas coerentes e justificadas que se tornam aceitas em determinado hist rico per odo como resposta a quest es de como organizar o setor p blico Cameralismo Administra o P blica Progressista e Nova Gest o P blica s o exemplos de filosofias administrativas De acordo com essa defini o o estudo da auditoria de desempenho pode ser relacionado com as doutrinas pertencentes ao conjunto de id ias da Nova Gest o P blica Uma forma de se abordar o estudo das id ias em NGP analisar o fator de aceita o Alguns governos v m aceitando a
87. trabalho poder ser comprometido Assim desde a cria o da Seprog o TCU utiliza se de m todos de sele o que est o sempre em processo de aprimoramento nos quais s o utilizados m todos e crit rios objetivos a fim de que haja o m nimo ou nenhuma interfer ncia n o t cnica nas decis es Desse modo desde que bem aplicada fica otimizada a partir de um bom processo de sele o toda a consecu o de resultados que tragam benef cios para seus potenciais benefici rios Para que se tenha implementa o dos conceitos derivados de avalia es formativas tamb m preciso considerar formas que as adaptem a uma padroniza o homog nea na escolha das reas a serem auditadas Assim n o incorreremos nos erros de prioriza o excessiva em determinadas reas em detrimento de outras o que poderia provocar desequil brios nas pol ticas de governo Para isso propomos tamb m novo modelo a ser adotado pelo TCU quando da sele o das reas a serem auditadas Uma vez que o trabalho do Tribunal requer precipuamente o aperfei oamento das pol ticas p blicas a nfase requerida nesta Monografia da prioridade s avalia es formativas atende bem aos fins pretendidos e n o em si exclusivista em sua forma de ado o O que requeremos o delineamento de novas diretrizes para os futuros trabalhos do TCU com vistas inser o do Tribunal de forma mais pr ativa nas pol ticas p blicas do Brasil No atual est
88. valida o externa mediante auditoria por exemplo O Tribunal de Contas da Uni o gera relat rios de avalia o em tempo comparativamente curto cerca de oito meses com independ ncia e vis o de administra o p blica O escopo dos estudos reduzido em geral a es de um programa ou um tema bem espec fico H interesse em incorporar a vis o dos principais atores envolvidos inclusive gestores e benefici rios BRASIL 2002f Uma das caracter sticas que mais diferencia as avalia es de programa conduzidas pelo TCU o monitoramento da implementa o das recomenda es da auditoria de desempenho e a preocupa o em medir a efetiva produ o dos benef cios esperados em termos de melhoria do desempenho dos programas art 243 do Regimento Interno do TCU No entanto o reduzido n mero de avalia es por ano perto de dez se comparado com o n mero de programas de governo mais de tr s centenas limita o papel do TCU como ator na responsabiliza o por resultados e no controle parlamentar 3 PROGRAMAS P BLICOS Para se discutir como o Tribunal de Contas pode agir com o objetivo de responsabilizar os agentes p blicos pelos resultados de sua gest o fundamental compreender como se organiza a a o governamental Este cap tulo descreve rapidamente o processo de planejamento p blico brasileiro detendo se na defini o de programa p blico O art 165 da Constitui o Federal de 1988 disp e sobre
89. vel federal o que pode ser feito diretamente mas tamb m atuar como fonte de refer ncia para os n veis estaduais e municipais Em v rios trabalhos recentes o TCU 34 Pr mio Serzedello Corr a 2003 Monografias Vencedoras detectou defici ncias operacionais e administrativas em diversos programas sugerindo medidas que objetivavam o aumento da efic cia e efici ncia do gasto governamental Em todo o mundo mas especialmente no Brasil que passa por enormes dificuldades fiscais tais trabalhos s o fundamentais para que se tenha um governo que fa a mais com menos Um quantificado de como a atua o do TCU pode exemplo bastante ilustrativo e aumentar a efici ncia do gasto p blico pode ser encontrado na avalia o realizada no Programa Nacional do Livro Did tico A implementa o das recomenda es proporcionou uma economia estimada em cerca de R 1 4 milh o em tr s anos Ac rd o n 992 2003 Plen rio Ata n 29 Sess o de 30 7 2003 Devido possibilidade de an lise dos programas nas diversas unidades da Federa o em que s o executadas as avalia es conseguiram em alguns casos identificar boas pr ticas que foram divulgadas nos relat rios Um conjunto razo vel de boas pr ticas pode ser divulgado tamb m na p gina do pr prio TCU na Internet e repassado por interm dio de palestras ou semin rios Durante a execu o dos trabalhos tamb m foramdesenvolvidosindicadores dedesempenho para os
90. virtual criada com base no resultado das demais a es sugeridas mapeamento da informa o dispon vel e das necessidades de informa o dos p blicos externos padroniza o de termos e adequa o do formato e da estrutura da informa o permitiria a explora o muito mais efetiva da informa o concernente ao desempenho de programas p blicos ao possibilitar um canal nico f cil e r pido de acesso aos dados dispon veis 6 5 ESTABELECIMENTO DE SISTEMA DE ENVIO AUTOM TICO DE INFORMA ES PUBLICADAS PARA OS USU RIOS CADASTRADOS As tecnologias da Internet possibilitam o emprego de m todos eficientes e econ micos para a oferta autom tica de not cias e informa es de interesse dos usu rios externos O chamado sistema push j est em uso em diversas institui es como no pr prio TCU que o utiliza para prestar informa es pelo correio eletr nico sobre a tramita o de processos de forma autom tica sem que o interessado precise tomar a iniciativa de solicitar a informa o para um atendente ou visitar as p ginas do Tribunal na Internet para obter esses dados O recurso poderia ser facilmente expandido para oferecer tamb m a op o de recebimento de not cias e informa es publicadas na biblioteca virtual sobre avalia o de programas Com a implementa o desse recurso gestores agentes do controle interno e cidad os poderiam optar por receber em seu endere o de correio eletr nico
91. visto A consolida o da avalia o como elemento a mais do ciclo de gest o exige evolu o t cnica e metodol gica e mudan a cultural que permitam a internaliza o do processo avaliativo nas organiza es p blicas Para se alcan ar esse avan o no ciclo de gest o necess rio compreender claramente os objetivos da avalia o e a contribui o que ela pode oferecer O primeiro objetivo de uma avalia o o de aperfei oar a a o governamental O aperfei oamento dos programas pode exigir a implementa o de recomenda es que visem redu o de custos utiliza o mais adequada dos insumos ao aperfei oamento de processos para atingir melhor o p blico alvo aquisi o de novas habilidades pelos implementadores institui o de controles para coibir fraudes dissemina o de boas pr ticas e a uma s rie de outras provid ncias A natureza das recomenda es que emergem de uma avalia o em geral voltadas para medidas gerenciais torna essa atividade uma pesquisa interessada ou policy oriented DRAIBE 2001 Trata se aqui de preocupa o com o desempenho do programa e com a sua efici ncia operacional Esse objetivo da avalia o serve principalmente s necessidades do gestor bem como responsabiliza o por resultados Avalia se tamb m o sucesso do programa em mudar para melhor a realidade social sobre a qual atua Nesse caso quase sempre necess rio isolar o efeito do prog
92. 000 dispon vel no endere o eletr nico lt www tcu gov br gt que disp e sobre estrutura e compet ncias das unidades da Secretaria do Tribunal de Contas da Uni o trata das compet ncias da Assessoria Parlamentar em seu art 72 Art 72 Compete Assessoria Parlamentar I planejar coordenar acompanhar e executar a es de interc mbio de informa es do Tribunal com o Congresso Nacional relativas a assuntos legislativos II acompanhar no Tribunal a tramita o dos processos e expedientes origin rios do Congresso Nacional de suas Casas Comiss es ou de parlamentares II prestar apoio Secretaria Geral de Controle Externo no relacionamento com o Congresso Nacional decorrente de assunto inerente ao controle externo IV acompanhar no Congresso Nacional as mat rias de interesse do Tribunal e propor ao Presidente a elabora o de estudos ou pareceres pelas unidades t cnicas quando for o caso V desenvolver trabalhos t cnicos estudos e pesquisas relacionados com assuntos legislativos que forem determinados pela Presid ncia do Tribunal VI realizar pesquisas acerca de expectativas e de demandas do Congresso Nacional com rela o ao controle externo visando subsidiar o planejamento estrat gico e a defini o de diretrizes no mbito do Tribunal VII gerenciar e assegurar a atualiza o das bases de informa o necess rias ao desempenho da sua compet ncia 92 Pr mio Serzedello
93. 02 Aprova o Regimento Interno do Tribunal de Contas da Uni o Bras lia 2002b Dispon vel em lt http nww tcu gov br gt Acesso em 25 jul 2003 BRASIL Tribunal de Contas da Uni o T cnicas de Auditoria An lise Stakeholder Bras lia DF 2002c Dispon vel em lt http pessoal educacional com br up 2600001 629690 t191 asp gt Acesso em 1 ago 2003 BUGARIN Bento Jos Revista de Direito Administrativo n 177 1989 p 114 BUSQUETS Cristina Del Pilar Pinheiro MARTINS Maria Beatriz Prata R B de Magalh es O controle pelas cortes de contas da efic cia e efici ncia dos atos administrativos Revista do Tribunal de Contas do Estado de S o Paulo S o Paulo n 69 abr 1993 p 62 63 CASTRO Jorge A et al Metodologia para descri o e caracteriza o da pol tica social Bras lia IPEA maio de 2002 Mimeografado COHEN E FRANCO R Avalia o de Projetos Sociais Petr polis Vozes 1993 CONSEJO CIENT FICO DEL CLAD La Responsabilizaci n em la Nueva Gesti n P blica Latinoamericana Caracas CLAD 1999 COSTA Nilson R SILVA Pedro L B A avalia o de programa p blicos reflex es sobre a experi ncia brasileira relat rio t cnico Bras lia IPEA 2002 FIGUEIREDO L cia Valle Curso de Direto Administrativo 5 ed S o Paulo Malheiros Editores LTDA 2001 General Accounting Office Government auditing standards Washington GAO 1999 Dispon vel em lt htto wwwt gao gov gt A
94. 1999 aponta uma rela o entre a crescente utiliza o por diversas EFS de m todos e t cnicas de auditoria de desempenho e reformas administrativas recentes ocorridas no mbito do Setor P blico Conforme o autor genericamente a auditoria de desempenho tem sido mais vigorosamente implementada em pa ses cujo paradigma Ya do setor p blico administrativo do que naqueles onde predomina a tradi o do Direito Administrativo Esse fen meno ocorreria porque a tica fundamental da auditoria de desempenho est firmemente ligada tica da reforma da gest o de desempenho e ambas s o frequentemente conceituadas como sendo sobre o mesmo assunto Por sua vez o grau de desenvolvimento e de sofistica o t cnica que a auditoria de desempenho apresenta nos diversos pa ses se relaciona com uma s rie de fatores al m da receptividade aos princ pios da NGP A natureza dos trabalhos realizados de certo influencia a escolha das estrat gias metodol gicas e das t cnicas de an lise utilizadas pelas EFS Apenas para ilustrar pode se afirmar que auditorias de efici ncia tendem a realizar an lises de custo benef cio O exame de efetividade pode exigir a condu o de experimentos de configura o cient fica como os delineamentos BRASIL 2000c O foco no cidad o cliente requer a utiliza o de quase experimentais grupos focais e entrevistas em profundidade Estudos sist micos exigem aprofundamento na literatura c
95. Analisar o impacto do Objetivo implementa o do progresso com do programa programa e as suas programa precisar o respeito ao plano que devem ser rela es com o processo foco de trabalho aprimorados e os resultados Atitude Prospectiva Gerencial Descritiva cl nica Anal tica normativa corretiva prescritiva Recomenda es Caracter sticas do Ajuste do plano Aprimoramento do Revis o ou confirma o programa luz do cen rio das condi es operacionais Corre o de rumos programa conte do foco m todo objetivos de a es recursos e metas Fonte FARIA 1998 Com adapta es Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 85 e ineficientes o cumprimento das metas previstas a obedi ncia aos dispositivos legais aplic veis aos aspectos de economicidade efici ncia e efic cia da gest o Portanto o foco da auditoria de desempenho operacional o processo de gest o nos seus m ltiplos aspectos de planejamento organiza o procedimentos operacionais e acompanhamento gerencial inclusive quanto a seus resultados em termos de metas alcan adas J o objetivo da avalia o de programa examinar a efetividade dos programas e dos projetos governamentais A avalia o de programa busca apurar em que medida as a es implementadas lograram produzir os efeitos pretendidos pela administra o enquanto a auditoria de desem
96. Corr a 2003 Monografias Vencedoras As principais contribui es dessa op o s o a identifica o de quest es operacionais O monitoramento dos acontecimentos e a compreens o dos poss veis resultados outcomes associados ao programa Esse tipo difere da avalia o somativa aplicada com frequ ncia a programas de longa dura o avalia o ex post para estudar a efetividade e ponderar os benef cios A objetividade e a credibi lidade dos achados da avalia o somativa s o mais importantes que a aplicabilidade direta dos resultados A diferen a entre as sugest es dos especialistas para que se adotem as avalia es formativas de forma direta pelos formuladores e a sua implementa o pelo TCU que enquanto os formuladores das pol ticas de governo podem ou n o faz lo no caso do Tribunal este crit rio ser r gido e diretamente aplicado aos programas sujeitos a pr sele o Nesse caso os programas a serem avaliados pelo TCU ficar o menos sujeitos a opini es subjetivas dos implementadores o que certamente ser importante respaldo de possibilidade de xito destes programas uma vez que haver an lise pr via das pol ticas Com algumas adapta es aos padr es de institui es como o IPEA e o NEPP em virtude das atribui es constitucionais afetas ao TCU nossa proposta no sentido de que o Tribunal passe tamb m a priorizar as avalia es do tipo formativa Isso por si n o exclui a possib
97. DITORIA DE DESEMPENHO AUDITORIA DE CONFORMI DADE E AVALIA O DE PROGRAMA Auditoria de Desempenho Controle de Conformidade Legalidade Avalia o de Programas Foco Gest o processo produto impacto e formula o Insumos e processo Gest o e impacto Crit rios 3 E s e outros vinculados ao desempenho Legalidade conformidade economia Efetividade efici ncia equidade M todos Auditoria monitoramento avalia o pesquisa pre scri o an lise Auditoria investiga o de den ncias consultas p blicas audi ncias Pesquisa monitoramento avalia o Produtos Pontos de melhoria iden tificados informa es de resultados accountability de resultados Irregularidades desconformi dades detectadas informa es de legalidade accountability de conformidade Informa es de causa efeito accountability de impacto da a o do governo Impactos rados espe Funcionamento melhor do governo de forma mais democr tica e com maior transpar ncia Funcionamento do governo nos limites da lei e dos regu lamentos administrativos Presta o de servi o melhor do governo popula o Mais eqitidade mais justi a social rea de atua o Destinat rios das informa es Programas rg os projetos atividades pol ticas p blicas Gerente p blico executivo Congresso m dia cidad o Todas Executivo Congresso Mini
98. Di rio Oficial da Uni o e estar dispon vel na p gina do Tribunal de Contas da Uni o na Internet www tcu gov br Art 17 A solenidade de entrega dos pr mios aos autores das monografias classificadas nas tr s primeiras coloca es ocorrer na primeira semana de novembro de 2003 em dia e hora a serem oportunamente divulgados no Audit rio Ministro Pereira Lira sede do Tribunal de Contas da Uni o no Distrito Federal em Bras lia edif cio principal t rreo e ser conduzida pelo Presidente do Tribunal de Contas da Uni o 1 Aos autores mencionados no caput deste artigo residentes fora do Distrito Federal ser o fornecidas passagens para traslado dentro do territ rio nacional a fim de que participem da solenidade de entrega dos pr mios 8 2 O autor vencedor que n o comparecer solenidade de entrega dos pr mios receber a import ncia a ele destinada no prazo de at 60 sessenta dias ap s a referida solenidade 8 3 Os autores das monografias classificadas em quarto e quinto lugares receber o via postal os certificados relativos s respectivas men es honrosas atribu das pela Comiss o Julgadora DISPOSI ES FINAIS Art 18 Os direitos autorais das monografias premiadas bem como das agraciadas com men o honrosa pertencem aos autores reservando se ao Tribunal de Contas da Uni o a prerrogativa de public las em qualquer idioma por qualquer forma ou processo em conjunto ou separadas periodicamente ou
99. ET Find GAO Reports Benchmarking Products and Methodology e Vot th Di it ss to Polling Places ar GAO 02 107 Accessible Text Version e Homeland Security Terrorism and Airport Sec from 1980 to Present Reports on the Government Performanc ty Reports Updated daily User defined search capability for reports correspondence and testimony from January 1 1975 until present Results display abstracts of GAO reports and testimony with links to available electronic reports Careers at GAO About GAO Reports and Plans About GAO Strategic Planning Help Using This Performance and Accountability Site Status of Open Recommendations Updated daily E mail About GAO Reports How GAO does its work reports its findings and how to obtain GAO reports Search GAO Archive at GPO Search the index and retrieves PDF and text ascii files since 1995 GPO provides helpful hints that may facilitate your search For full text searching of PDF report files since 1975 and legal products go to Search Privacy Notice Ainda a t tulo de compara o uma pesquisa semelhante realizada no Sistema de Normas e Jurisprud ncia feita na base de dados do GAO ofereceu como resultado da procura por program evaluation o seguinte resultado Document count program 26889 evaluation 17881 program evaluation 1959 Apesar do grande n mero de documentos retornados o trabalho de pesquisa simplificado pela oferta de op es d
100. Heinz Gunter Zavelberg em artigo de 1985 mencionava o termo auditoria de resultados de programas utilizado na Corte Federal de Auditoria da ent o Rep blica Federal da Alemanha para estudar programas que n o cumpriam a totalidade de seus objetivos e para estimar at que ponto eram cumpridos os objetivos bem como se poderiam ter sido cumpridos utilizando menos recursos efici ncia e efic cia dos programas Albaek amp Winter 1990 mencionavam no in cio dos anos 90 que o Auditor Geral da Dinamarca havia recentemente come ado tradicionais a complementar os m todos de auditoria com an lises de resultados sob a influ ncia metodol gica dos trabalhos desenvolvidos nos Estados Unidos e no Canad A Controladoria da Irlanda noticiava em 1991 que a avalia o de programas teria se iniciado naquele pa s em 1968 ocasi o em que surgiu a necessidade de auditoria de resultados al m da auditoria tradicional centrada apenas em aspectos financeiros e de legalidade Tamb m na Su cia segundo Sandahl 1992 o Swedish National Audit Bureau Riksrevisionsverket RRV conduzia avalia es de programas algumas voltadas para a dimens o da efetividade Com a crescente interven o das EFS no exame de programas governamentais as metodologias de avalia o sofreram adapta es que possibilitaram a execu o de trabalhos em per odos menores que as avalia es tradicionais facilitando sua difus o nas pr prias EFS
101. Paulo sobre as revis es anuais do Plano Plurianual 2004 2007 o que de certa forma reflete a percep o de ado o de processos avaliativos concomitantes nas pol ticas publicas e por fim a requisigao do Minist rio da Seguran a Alimentar e Combate Fome MESA publicada no Di rio Oficial da Uni o de 28 4 2003 que pelo ministro Jos Graziano solicitou ao TCU avalia o concomitante do Programa Fome Zero uma das prioridades do Governo Federal para o per odo 2003 2006 quando pela primeira vez na Hist ria brasileira um programa de pol ticas p blicas est sendo avaliado durante sua implementa o e que recebeu as sauda es do Ministro Relator do Processo Marcos Vin cios Vila a Estes tr s fatos nos animam seja pelos avan os conseguidos seja pelo reconhecimento da efetividade dos Trabalhos do TCU e demonstram que de modo id ntico ao pedido do ministro Jos Graziano o TCU pode gradualmente em nosso entendimento passar a atuar nos aspectos formativos das pol ticas de governo 2 SURGIMENTO DOS TRIBUNAIS DE CONTAS As reformas sociais ocorridas na sociedade ocidental a partir do s culo XVIII impulsionaram o fortalecimento do Estado como representante da for a coativa e imperiosa nos meios sociais com a consequente afirma o do Capitalismo e dos Estados Liberais Nesse contexto houve redisciplinamento dos poderes do Estado John Locke pensador ingl s em O tratado do Governo Civil 1689
102. R EGG E Avalia o de Servi os e Programas Sociais 2 ed Petr polis Vozes 1995 ANDERSON James E Public Policy Making New York Washington Praeger Publishers 1975 BEAL Adriana de Oliveira Gest o de Ativos In formacionais Bras lia ENAP 2002 M dulo II O ciclo de vida das informa es BRASIL Minist rio do Planejamento Or amen to e Gest o Pol tica de Governo Eletr nico para o Poder Executivo Federal Bras lia set de 2000 CHIAVENATO Idalberto Introdu o Teoria Geral da Administra o S o Paulo Makron Books 1993 132 Pr mio Serzedello Corr a 2003 Monografias Vencedoras DAVENPORT Thomas H Ecologia da Informa o por que s a tecnologia n o basta para o sucesso na era da informa o 4 ed S o Paulo Futura 2001 DUNLEAVY P The globalization of public service production can governments be best world Public Policy and Administration v 9 n 2 p 33 64 1994 EISENBERG Jos Entrevista concedida a Maya Mitre Ci ncia Hoje v 29 n 169 marco de 2001 p 6 10 mar 2001 Dispon vel em lt http www uol com br cienciahoje chmais pass ch169 entrevis pdf gt Acesso em 19 7 2003 19 jul 2003 HOOD C Beyond the public bureaucracy State Public administration in the 1990s London LSE 1990 MC GEE James V PRUSAK Laurence Gerenciamento estrat gico da informa o aumente a competitividade e a efici ncia de sua empresa utilizando a informa o c
103. a 8 faltam conhecimentos sobre os processos reais de decis o 9 n o h clareza suficiente sobre os crit rios a serem utilizados na avalia o 10 h insuficiente distin o entre as abordagens de avalia o para refletir as diferen as na complexidade dos objetos Il faltam mecanismos adequados para organizar processar e relatar as informa es avaliativas e 12 falta pessoal treinado Existe em s ntese desconex o entre a avalia o e a tomada de decis o A avalia o n o possibilita ao dirigente e organiza o reconhecerem seus erros e acertos e agirem confirmar para corrigir os primeiros e reproduzir e ampliar os segundos 3 AVALIA O DE PROGRAMAS E O PRO GRAMA PLURIANUAL DE ATIVIDADES PPA No caso brasileiro a avalia o de programas deve focar os programas contidos no PPA Nesse sentido passa se a descrever os principais aspectos a serem abordados pelo TCU nesse contexto O PPA apresentado pelo presidente no in cio do seu mandato de quatro anos Institu do pela Constitui o de 1988 reflete em tese o compromisso duradouro do Brasil com o planejamento social e o econ mico A Constitui o exige que a Lei de Diretrizes Or ament rias e os planos regionais setoriais ou outros em n vel nacional sejam elaborados de modo que se tornem consistentes com o PPA O PPA nico em termos internacionais e complexo em sua abordagem de integra o entre planejamento e or am
104. a es por meio dos monitoramentos 2 cuja metodologia consiste em acompanhar o n vel de implementa o de cada uma das recomenda es sugeridas pelo TCU Como se verifica no Quadro as auditorias operacionais do TCU transitam entre os tipos 2 monitoramento e 4 avalia o somativa Os trabalhos de operacional realizados no mbito do Tribunal auditoria de natureza seguem a conceitua o do Manual de Auditoria Operacional do TCU que conforme citado os classifica em duas modalidades a auditoria de desempenho operacional que tem como objetivo examinar a a o governamental quanto aos aspectos de economicidade efici ncia e efic cia e b avalia o de programa que busca examinar prioritariamente a efetividade dos Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 87 programas e dos projetos governamentais Conforme exposto o atual direcionamento das auditorias operacionais do TCU atende aos aspectos somativos e de monitoramento Entendemos que em rela o s auditorias de desempenho operacional item a o TCU j se encontra instrumentalizado em virtude do fato do treinamento dado a seu corpo t cnico e da cria o em sua estrutura interna de uma secretaria que pudesse abarcar tal servi o desenvolvendo par metros adequados medi o do desempenho dos mais diversos programas de pol ticas p blicas no Pa s Tamb m se deve reconhecer que o avan ado n vel de i
105. a divulga o efetiva e estimulando o debate sobre o desempenho do Setor P blico Se for bem planejada a divulga o dos indicadores de forma escalonada e organizada por fun o de governo acompanhada de an lise qualitativa sobre os ndices alcan ados pode tornar cada vez mais relevante a opini o do TCU sobre a execu o das pol ticas p blicas e abrir espa o permanente de m dia para o Tribunal Outra maneira de agir poderia ser a publica o de algo parecido com um anu rio de indicadores acompanhado da an lise do desempenho de reas tem ticas escolhidas Essa ltima maneira adotada pela Audit Comission brit nica e recebe grande aten o do p blico e da burocracia Assim fortalecem se os la os da institui o com a sociedade cresce sua import ncia para a responsabiliza o dos administradores e dos governantes pelo resultado e ampliado o papel da Corte de Contas como institui o democr tica de controle dos governantes Fica claro nesse ponto que as sugest es aqui apresentadas n o seguem a l gica do modelo de comando e controle que caracteriza o processo de presta o de contas em vigor no Tribunal de Contas da Uni o Fala se sobre avalia o de pro gramas publica o de resultados comunica o estreita com o Parlamento e a sociedade civil organizada N o h sugest o do estabelecimento de um arcabou o legal que permita a aplica o de multas por exemplo contra gestores e ge rentes d
106. a onde foram analisados os sistemas de fiscaliza o e cobran a de d bitos tendo resultado nas Decis es de n 574 e 651 todas do Plen rio No ano seguinte 2000 seis novos relat rios foram levados a julgamento pelo Tribunal nas reas de sa de educa o e meio ambiente podendo se mencionar como destaque as auditorias no Programa Reforsus para reorganiza o do SUS Decis o n 570 2000 e nos programas Nacional de Alimenta o Escolar e do Livro Did tico Decis es n 596 e 621 ambas de 2000 tamb m do Plen rio Nos dois anos que se seguiram 200 e 2002 intensificaram se os trabalhos dessa natureza e o Tribunal concluiu e levou a julgamento catorze novos relat rios de avalia o de programas tendo estendido sua atua o n o s s reas de sa de educa o e meio ambiente mas tamb m s atividades governamentais desenvolvidas nas reas de agricultura trabalho assist ncia social direitos da cidadania entre outras Entre os trabalhos conclu dos nesse per odo pode se mencionar como de maior relev ncia o Programa de Monitoramento e Preven o da Mortalidade Materna Decis o n 780 2001 o Pro gua Semi rido Decis o n 829 2001 o Programa de Erradica o do Trabalho Infantil Decis o n 414 2002 o Programa de Valoriza o e Sa de do Idoso Decis o n 590 2002 o Programa Sa de da Fam lia Decis o n 649 2002 o programa TV Escola o Programa Nacional Biblioteca da Escola Dec
107. a 2003 Monografias Vencedoras Dessa r pida an lise dos benef cios alcan ados pela atua o do TCU na avalia o de programas governamentais pode se concluir que sua contribui o para a defesa dos interesses sociais e a do patrim nio p blico e para o aperfei oamento da Administra o P blica bastante significativa podendo ser substancialmente ampliada se forem adotadas medidas para assegurar a adequada publicidade dessas a es de controle e dos resultados delas obtidos 4 POTENCIALIDADES INEXPLORADAS DO USO DA INFORMA O PROVENIENTE DE A ES DE AVALIA O DE PROGRAMAS DESENVOLVIDAS PELO TCU Neste Cap tulo ser analisada a quest o de como a melhor explora o das potencialidades da informa o produzida pelo TCU em trabalhos de avalia o de programas p blicos pode aumentar a efetividade do controle do desempenho da Administra o P blica em benef cio da sociedade 4 1 EVID NCIAS DA BAIXA EXPLORA O DA INFORMA O PROVENIENTE DAS A ES DE AVALIA O DE PROGRAMAS DESENVOLVIDAS PELO TCU No informa es aos conhecimentos e s an lises que tange especificamente s provenientes das a es de avalia o de programas realizadas pelo TCU destacam se os seguintes segmentos de usu rios potenciais a os gestores p blicos que passam a contar com melhores subs dios para a corre o tempestiva das a es que tiverem se mostrado equivocadas bem como para a incorpora o de mel
108. a Lei da A o Popular BRASIL 1965 art 2 S o eles compet ncia forma objeto motivo e finalidade De compet ncia Lei conjunto de acordo com a mencionada refere se ao atribui es legais do agente forma observ ncia das formalidades indispens veis exterioriza o do ato objeto ao que disp e o ato motivo ao fundamento do ato e finalidade ao resultado buscado pelo ato O conceito jur dico de finalidade tem correspond ncia no conceito de resultado da a o p blica e por extens o de impacto da pol tica ou do programa governamental Pergunta se agora caberia ao controle externo o exame do resultado da a o administrativa Caso a resposta seja positiva como se deve proceder a tal controle A compet ncia do controle externo esta estabelecida no art 70 da Constitui o Federal As dimens es sobre as quais o controle externo deve exercer sua a o s o a legalidade a legitimidade e a economicidade N o cabem aqui mais considera es sobre o bem conhecido princ pio da legalidade do qual deriva uma s rie de outros princ pios que regem a administra o No legitimidade s o princ pios cuja interpreta o p blica entanto economicidade e vem evoluindo como resultado da discuss o que se estabeleceu Mata 1994 constata que muitos autores consideram que o princ pio da economicidade vazio n o sendo poss vel seu balizamento dentro dos institutos do Direito Contudo o
109. a a partir da implementa o das recomenda es propostas nas avalia es desenvolvidas pelas EFS que analisam o funcionamento dos programas governamentais em busca de possibilidades de ganhos de efici ncia e de melhoria nas pr ticas de gerenciamento BARZELAY 1997 SLOAN 1996 A manuten o da accountability governamental se d pela divulga o da opini o independente de uma EFS acerca da efic cia e da efetividade dos programas e das pol ticas p blicas por ela analisadas POLLITT 1999 A dimens o pol tica do valor p blico da avalia o de programas nos remete aos clientes das informa es produzidas pelas atividades pertinentes visto que somente se justifica a continuidade da execu o desse tipo de trabalho por uma EFS se houver o entendimento dos usu rios de que ele importante Pode se identificar como clientes mais imediatos das EFS os poderes Executivo e Legislativo recebem as que informa es veiculadas nas avalia es produzidas por aquelas entidades e adotam as provid ncias que est o ao seu alcance dentro do sistema institucional legal vigente Mais indiretamente a sociedade representada pela m dia pela comunidade acad mica ou por organiza es 4 n o governamentais tamb m potencial usu ria do produto das avalia es realizadas pelas EFS SLOAN 1996 A dimens o operacional por sua vez evidencia uma s rie de circunst ncias administrativas que devem ser levadas e
110. a an lise do planejamento estatal 9 CONSIDERA ES FINAIS Entidades de Fiscaliza o Superiores t m se destacado como rg os fundamentais em v rios pa ses para a consolida o de estados democr ticos e o aumento da transpar ncia a accountability e a melhoria da gest o p blica Tal destaque parece decorrer da imagem de independ ncia compet ncia t cnica e profissionalismo que essas institui es buscam adquirir ao incorporar crit rios m todos e t cnicas de auditoria de desempenho e avalia o de programas Neste texto a auditoria de desempenho foi analisada como uma disciplina pertencente ao campo de estudos de pol ticas de gest o p blica Tais pol ticas s o consideradas como os principais focos de estudos da Nova Administra o P blica BARZELAY 2001 Tal defini o permite uma abordagem da auditoria de desempenho como um campo de pesquisa e argumenta o acad mica bem como de discuss o entre profissionais do Governo sobre pol ticas de interven es gerenciais em governos executivos Assim definido a argumenta o sobre auditoria de desempenho fornecida neste ensaio enfocou os processos pol ticos e organizacionais em que as mudan as na formula o e na condu o de pol ticas p blica ocorrem Al m disso buscou se salientar que a an lise dos aspectos gerencial e metodol gico da auditoria de desempenho tamb m recomend vel Conforme argumenta Nelson 1996 sendo o gerenciament
111. a de decis es por parte dos administradores No mbito da administra o p blica e na atual conjuntura de escassez de recursos a avalia o de programas pode assumir papel fundamental medida que pode auxiliar a testar programas governamentais em seus est gios iniciais antes que grandes esfor os e recursos sejam neles aplicados A avalia o de programas revela ainda outro aspecto de fundamental import ncia que a avalia o do impacto causado pela implementa o do programa no p blico alvo medida que tenta identificar e mensurar como o programa est atingindo seus objetivos por meio das altera es causadas no grupo de clientes em decorr ncia do programa sejam elas positivas ou negativas 18 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Desse modo por meio do impacto causado e dos efeitos produzidos a avalia o de programas pode auxiliar os governos a decidir se um programa deve ser continuado expandido modificado reduzido ou mesmo eliminado al m de possibilitar saber as raz es de uma eventual performance inadequada e as a es requeridas para corrigir a situa o Elmer Staats 1979 cita ainda como um dos objetivos da avalia o o aux lio ao legislador no que se refere a solucionar problemas legais relativos aos programas de governo avaliados no XIV INCOSAI em 1992 o prop sito da avalia o Segundo defini o alcan ada de programas mensurar os efeitos resultant
112. a decis o estrat gica de estimular ou n o essa demanda pesando os pr s e os contras de uma diminui o de independ ncia na proposi o de temas para avalia o versus uma potencial maior inser o das recomenda es dentro do processo pol tico or ament rio 3 O TRIBUNAL DE CONTAS DA UNI O NO PAPEL DE PESQUISADOR Por ltimo dentro do leque de possibilidades relativas ao papel de pesquisador que pode ser exercido pelo TCU uma se refere avalia o da efetividade dos programas governamentais Utilizando t cnicas quase experimentais de base quantitativa notadamente m todos inferenciais avan ados seriam avaliados os resultados de alguns programas vis vis os objetivos para os quais eles foram criados A contribui o de uma an lise dessa monta seria enorme do ponto de vista da formula o de pol ticas p blicas aumentando no longo prazo a racionalidade dos gastos governamentais Entretanto preciso observar que a avalia o de efetividade uma atividade extremamente t cnica que requer grandes investimentos em capacita o Os trabalhos tamb m s o mais caros e demorados e preciso cuidado para que n o sejam produzidas avalia es intempestivas ou seja quando os resultados estejam prontos os problemas para os quais eles foram analisados j tenham mudado Outra possibilidade menos dispendiosa a elabora o de trabalhos que avaliem os riscos no desenvolvimento de programas e pol
113. a divulga o dos trabalhos desenvolvidos pela Corte de Contas tornando mais transparentes suas atividades O Informativo TCU traz informa es resumidas sobre decis es proferidas pelo Tribunal recomenda es e determina es a entes p blicos e relat rios de auditoria dentre outras A Revista do TCU possui cinco sess es espec ficas editorial destaque se o dedicada a entrevistas com autoridades da Administra o P blica e personalidades do meio acad mico doutrina not cias e ndices de autor e assunto Nessas publica es o acesso s informa es feito exclusivamente a partir de uma rela o dos n meros das edi es dispon veis como mostra a reprodu o da tela de acesso Revista do TCU na Figura 4 FIGURA 4 TELA DE ACESSO S EDI ES DISPON VEIS DA REVISTA DO TCU Revista do TCU Microsoft Internet Explorer Arquivo Editar Exibir Favoritos Ferramentas Ajuda G OoO HAD SXee Endere o http www tcu gov brisc sedip Revista RevDisponiveis html REVISTADOTCU P gina Inicial Editorial Como publicar Como receber a Revista Edi es dispon veis para download ndice Geral Cumulativo Voltar Edi es Dispon veis Os arquivos da Revista 2003 necessitam do programa Revista n 95 Jan Mar Adobe Acrobat Reader para serem lidos 2002 Revista n 94 Out Dez Revista n 93 Jul Set Revista n 92 Abr Jun Revista n 91 Jan Mar 2001 Revista n 90 Out Dez R
114. a informa o possibilitando acesso imediato aos itens informacionais desejados A utilidade do hipertexto para disseminar a informa o imensa a um custo de produ o distribui o e atualiza o extremamente baixo Davenport 2001 Sem esse recurso o leitor ap s localizar no ndice o documento procurado precisa retornar rela o de edi es abrir uma delas e seguir pelas p ginas at o ponto em que se encontra o texto desejado FIGURA 5 TELA DE BUSCA POR INFORMA ES NA REVISTA DO TRIBUNAL DE CONTAS DO ESTADO DE MINAS GERAIS O USO DE HIPERLINKS NOS T TULOS DOS ARTIGOS POSSIBILITA O ACESSO IME DIATO AOS DOCUMENTOS PESQUISADOS Revista do TCMG Microsoft Internet Explorer Arquivo Editar Exibir Favoritos Ferramentas Ajuda O O HAD Sree Endere o http www tce mg gov br revista EDI ES DISPON VEIS ANO EDI O APRESENTA O NDICE GERAL CORPO EDITORIAL NORMAS EDITORIAIS FALE CONOSCO As palavras TCU foram encontradas nos seguintes itens Resultados de Busca Mostrando resultados 1 a 4 de 4 RESULTADOS EM DOUTRINA r pida e precisa selecione 1 O REGIME CONSTITUCIONAL DOS TRIBUNAIS DE CONTAS os bot es abaixo Autor Carlos Ayres Britto P Edi o N 03 de 2002 Doutrina 2002 i OS TRIBUNAIS DE CONTAS E O CONTROLE SOBRE AS ADMISS ES NO SERVI O PUBLICO Todas as edi es Autor Jorge Ulisses Jacoby Fernandes Edi o N 02 d
115. a n o bem vista pelos administradores p blicos gerando resist ncia atua o dos auditores SHAND amp ANAND 1996 Pode se identificar nesse papel a influ ncia cognitiva da disciplina de administra o a come ar pela identifica o da auditoria de desempenho com a fun o cl ssica de avalia o na administra o de retroalimenta o Tamb m pode ser observada alguma semelhan a com os princ pios da qualidade total ou com a teoria da aprendizagem organizacional LEEUW 1996 Natural pois que as metodologias utilizadas sejam em sua maioria advindas ou apropriadas da rea da administra o e avaliem predominantemente as dimens es da efici ncia e do gerenciamento dos programas Outra implica o dessa rela o estreita com a administra o que os referenciais de boa gest o ou de boas pr ticas s o analisados sob o prisma da teoria convencional predominante SHAND amp ANAND 1996 Em raz o de uma maior proximidade a tend ncia que EFS mais ligadas ao Poder Um exemplo emblem tico o redirecionamento Executivo adotem essa estrat gia dos trabalhos dos Inspectors General IG s norte americanos que sob a influ ncia do National Performance Review NPR tentam reduzir os relat rios exclusivamente centrados em detec o de falhas e irregularidades caracter sticos da auditoria de conformidade e enfatizar quest es ligadas a resultados de modo a ajudar os gestores nas reformas geren
116. a para realizar auditoria de natureza operacional Desde ent o diversos esfor os v m sendo empreendidos a fim de capacitar o rg o de controle externo para o exerc cio desse mandato Atualmente o TCU vem se destacando na administra o p blica como centro de excel ncia na dissemina o de boas pr ticas de auditoria avalia o e gest o na esfera p blica Contudo o ferramental metodol gico do TCU ainda n o permite a ele desenvolver de forma apropriada as dimens es de efetividade de pol ticas p blicas nem para an lise de pol ticas p blicas prospectivas Os trabalhos de avalia o do TCU que formam um conjunto metodol gico designado como t cnicas de ANOP s o insuficientes para an lise da dimens o da efetividade que o foco das avalia es de programa Assim argumenta se que o papel do TCU deve n o s ser mantido quanto condu o de auditorias de natureza operacional como tamb m expandido para que possa incorporar mais t cnicas de controle notadamente as que permitam realizar an lise de efetividade As an lises tamb m n o deveriam se restringir a programas mas tamb m a atividades pol ticas rg os e projetos governamentais Algumas metodologias que poderiam ser utilizadas pela entidade de controle no Brasil com base na Escola de An lise de Pol ticas incluem an lise prospectiva de pol ticas p blicas teorias de decis o descritivas e normativas an lise de custo efetividade
117. a ser dependentes de dados relativos aos resultados sendo que muitas vezes inclinam se coleta de dados de resultados esperados e resultados n o esperados alcan ados pelo Programa Ao se fazer analogia da avalia o somativa com os controles pr vio concomitante e posterior percebe se que h muita proximidade dos trabalhos avaliativos com o chamado controle posterior o que n o deixa de ser til e mesmo necess rio para ser aplicado aos trabalhos do TCU Entretanto um dos poss veis equ vocos desse tipo de premissa o de que ao se focarem os resultados do Programa sup e se de antem o que a formula o das pol ticas p blicas esteja correta o que muitas vezes pode n o se mostrar correto ou adequado Quanto ao item b a avalia o de programa o pr prio entendimento do conceito nos leva a constatar que s o avaliadas al m dos aspectos observados na auditoria de desempenho operacional tamb m as interven es de efetividade dos programas de governo Mesmo neste caso o TCU tem realizado auditorias com vistas ex post ou por vezes de monitoramento Isso pode ser constatado pelas pr prias recomenda es Os Monitoramentos no TCU consistem em avalia es semestrais feitas nos programas objeto de auditorias de natureza operacional em que s o acompanhados os n veis de implementa o de cada uma das recomenda es sugeridas por essas auditorias 13 O Siafi Sistema Integrado de Administra o Financeira
118. ade dados menos usados podem ser armazenados em fita mais lenta e mais barata Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 127 dados hist ricos sobre o desempenho de sua institui o e de outras similares nas bases de dados ofertadas pelo TCU provavelmente ir se interessar em pesquis los e utiliz los para aprimorar sua atua o Da mesma forma sabendo como obter informa es integradas sobre a avalia o do desempenho de entidades jurisdicionadas dirigentes do TCU estar o ap tos a us las para apoiar o processo decis rio e aperfei oar as atividades de controle Muitos outros exemplos poderiam ser fornecidos de como a informa o pode ter seu uso signifi cativamente ampliado caso o usu rio possa ser rapidamente conduzido aos dados dos quais ne cessita mediante o uso de um mapa capaz de descrever os recursos informacionais existentes e onde estes podem ser encontrados 6 2 MAPEAMENTO DAS NECESSIDADES DE IN FORMA O DOS P BLICOS EXTERNOS As necessidades de informa o podem variar substancialmente de usuario para usu rio Al m disso comum que os usu rios da informa o n o sejam capazes de identificar ou expressar suas necessidades informacionais O cidad o por exemplo distante da realidade do controle externo dificilmente saber identificar precisamente que informa o seria til para instrumentaliz lo no que tange ao controle social da gest
119. ade de responsabiliza o por resultado Na seqti ncia explora se o tipo de atua o do TCU que pode melhor responder s exig ncias dos diversos tipos de responsabiliza o apresentando se propostas de caminhos para o futuro 2 AVALIA O N o deve surpreender o fato de que o n mero de defini es de avalia o seja t o grande quanto o n mero de autores que escrevem sobre o tema Dentre as defini es mais difundidas podem se citar as seguintes Avaliar fixar o valor de uma coisa para ser feita se requer um procedimento mediante o qual se compara aquilo a ser avaliado com um crit rio ou padr o deter minado FRANCO 1971 apud COHEN 1993 p 73 Ya Avalia o uma atividade que tem como objetivo maximizar a eficacia dos programas na obten o de seus fins e a efici ncia na aloca o de recursos para a consecu o dos mesmos COHEN 1993 p 77 A primeira defini o serve mais diretamente ao objetivo da avalia o relacionado com a responsabiliza o por resultados A segunda refere se avalia o como instrumento de melhoria da a o governamental Uma s ntese dessas defini es corresponde melhor s compet ncias do Tribunal de Contas da Uni o Para os fins deste texto entende se avalia o de programa como um processo de coleta e an lise sistem tico de informa es sobre atividades caracter sticas resultados e impactos de um programa com base em crit rios fundamentad
120. ado nos Estados Unidos em 1992 mencionava que o car ter relativamente recente da ado o da auditoria de resultados por parte das EFS assim como as diferen as nacionais intr nsecas ajudam a explicar as diversas interpreta es que os distintos pa ses t m dado ao significado da avalia o de programas Dessa afirmativa podia se extrair que na poca n o havia uma nica defini o do termo avalia o de programas As vezes eram utilizados de maneira indistinta os termos avalia o de programas auditoria de resultados auditoria de efic cia e auditoria de otimiza o de recursos Apesar da diversidade na ess ncia queriam definir o alcance dos objetivos de um programa como fator central na avalia o da efic cia do programa 16 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Segundo Hatry 1981 na obra citada avalia o de programas o exame sistem tico de um programa de governo espec fico de sorte a prover informa o a mais abrangente poss vel dos efeitos de curto e longo prazo do programa Nos termos definidos pelo Grupo de Trabalho criado no mbito da Comiss o Permanente de Avalia es de Programas da INTOSAI instalada no XIV INCOSAI a avalia o de programas governamentais a avalia o da efetividade de um programa pol tica ou a o atrav s de uma an lise utilizando m todos rigorosa e cientificamente preestabelecidos da atual performance com
121. ado muita resist ncia sua implanta o Desde logo conquistou defensores e cr ticos em fun o dos diversos aspectos pol ticos envolvidos no exame de programas governamentais Devido ao car ter relativamente recente da ado o da avalia o de programas pelos organismos de controle em todo o mundo diversos problemas t m surgido que requerem cuidado por parte de todo aquele que deseja avaliar resultados de programas governamentais Um deles encontra se refletido no princ pio de auditoria governamental de n mero 9 Wesberry 1976 Quais os crit rios ou normas de rendimento relacionado por James estao dentro das circunstancias que envolvem a entidade sob exame os mais teis avalia o e ao eventual aumento nos n veis de efici ncia e efetividade Na auditoria financeira tradicional este problema est diminu do pela exist ncia dos Contabilidade Aceitos Estes aliados ado o de pr ticas e Princ pios de Geralmente m todos cont beis de amplo conhecimento permitem ao auditor identificar com clareza os crit rios a adotar ao executar uma auditoria financeira de modo a conduzi la e apresentar seus resultados conforme um modelo padronizado No caso da avalia o de programas esta tarefa se mostra um tanto mais complicada A defini o dos crit rios de avalia o fica na depend ncia em grande parte da capacita o profissional do auditor e do n vel de especializa
122. ados a obras reformas e manuten o de estruturas ii Descentralizados diz respeito principalmente queles que utilizam repasse fundo a fundo caracter stica forte dos programas da assist ncia social sa de e educa o Tais programas apesar de possu rem gerentes nos rg os de n vel federal t m sua execu o realizada pelos respons veis nos munic pios e em alguns casos nos estados Assim o controle e o acompanhamento das a es ficam prejudicados dada a falta de estrutura das ger ncias para tanto iii Institucionais muitos programas de governo s o executados por rg os espec ficos com seu desenho todo voltado para tais institui es Pode se citar exemplos como Ibama Funai Incra dentre outros Por isso apresentam riscos diferenciados dos dos outros programas que dizem respeito s institui es a que est o ligados A fim de manter o foco na agenda de governo que classifica os programas em estrat gicos visando redu o das desigualdades sociais e com o intuito de contribuir para maior transpar ncia na presta o de contas do Setor P blico e de fortalecer o controle social atualmente o processo de sele o de reas programas e a es tem in cio com a identifica o dos programas considerados priorit rios no Or amento Entre eles todos s o pontuados de acordo com os itens de relev ncia criando se um ranking do qual s o selecionados os vinte programas com maior pontua o Num momento se
123. agens a possibilidade de percep o mais ampla da atua o da Administra o P blica em substitui o vis o estanque de projetos atividades e fun es Se em complemento s informa es isoladas sobre auditorias inspe es e acompanhamentos realizados em programas sociais o Tribunal apresentar uma an lise integrada da evolu o desses programas ao longo do tempo contabilizando os progressos atribu veis s a es de fiscaliza o as li es aprendidas as melhores pr ticas observadas as reas de excel ncia e de menor efici ncia da atua o governamental certamente essa an lise acrescentar valor substancial s informa es dispon veis gerando novas aplicabilidades para a sociedade e para os demais p blicos do controle externo E MAIS INFORMA O N O NECES SARIAMENTE MELHOR informa o para ser til precisa ser filtrada usando se crit rios de relev ncia quantidade e qualidade de apresenta o Assim como a insufici ncia a sobrecarga de informa o prejudicial dela n o resultando decis es processos ou produtos melhores O processo cont nuo de decis o sobre qual informa o realmente til devendo permanecer na rede de conhecimentos principal da organiza o e qual obsoleta irrelevante ou imprecisa devendo ser descartada ou pelo menos removida para um arquivo secund rio apesar de desafiador de fundamental import ncia para evitar que o excesso de info
124. ais de cada Estado Trata se da realiza o do conceito de checks and balances fundamental na doutrina da separa o de Poderes Pode envolver a cria o de comiss es especializadas no controle da administra o comiss es parlamentares de inqu rito arg i o de autoridades em comiss es especializadas sobre a execu o das pol ticas p blicas aprova o pr via da nomea o de autoridades chave do Executivo e do Legislativo bem como o caso extremo de destitui o do Presidente da Rep blica mediante processo de impeachment A efetividade desse mecanismo de responsabiliza o depende bastante da maturidade democr tica dos cidad os espelhada em seus representantes no Parlamento Al m disso sociedades marcadas pelo personalismo e pelo autoritarismo na pol tica nacional e pela oligarquia na pol tica local geram parlamentos dependentes e Executivos imperiais pouco sujeitos ao controle parlamentar A responsabiliza o por resultados tem amplo poder de aproximar o Estado da sociedade e de fortalecer a democracia Consiste em substituir o controle procedimental cl ssico realizado pela burocracia com pouca participa o popular pelo controle final stico de resultados com ampla discuss o social sobre o estabelecimento de metas e a avalia o a posteriori dos resultados Nesse modelo a a o p blica orientada pela satisfa o dos cidad os e n o pela concep o quase unilateral Avalia o de Programas P
125. am ou n o ir para a rede de informa es principal da institui o mediante o desenvolvimento de crit rios para a avalia o da informa o do ponto de vista de sua aplicabilidade para o equacionamento de problemas para o suporte tomada de decis o para o apoio s atividades de controle externo interno e social e assim por diante Principalmente no tocante ao controle formatada e social a informa o bem estruturada poder trazer fortalecimento consider vel da atua o da sociedade ao oferecer lhe condi es para acompanhamento mais efetivo dos resultados da aplica o dos recursos p blicos 6 4 CRIA O DE UMA BIBLIOTECA VIRTUAL PARA MELHORAR A ACESSIBILIDADE DA INFOR MA O Por mais valiosas que sejam as informa es ofertadas pelo TCU se obt las exigir um processo dif cil ou muito demorado improv vel que os p blicos alvo venham a conhec las e aplic las Quanto maior a facilidade de acesso s informa es dispon veis maior a probabilidade de que estas venham a ser usadas pelos diversos segmentos interessados no controle externo em benef cio da gest o p blica e da sociedade A Internet com sua capacidade de conectar pessoas e processos a baixos custos independentemente da localiza o uma ferramenta de alto poder de democratiza o ao 11 O benchmarking pode ser entendido como a t cnica de comparar processos pr ticas fun es e resultados com os l deres reco
126. am recebendo a aten o devida contribuindo para a realiza o de projetos ou programas que de outra forma ficariam fora da agenda imediata de prioridades governamentais CONSIDERA ES FINAIS E CONCLUS O Como se p de ver ao longo do trabalho a avalia o de programas um poderoso instrumento para a melhoria da gest o p blica medida que pode fornecer valiosas informa es aos gestores legisladores e pesquisadores Ya A avalia o tamb m importante para a accountability governamental uma vez que d mais transpar ncia tornando os gestores mais respons veis perante a popula o O Tribunal de Contas da Uni o uma Entidade de Fiscaliza o Superior que desempenha importante miss o n o s no controle t cnico de desvios fraudes e irregularidades perpetrados com o dinheiro p blico mas tamb m no controle dos resultados alcan ados pela administra o p blica A avalia o de programas p blicos assume grande relev ncia para o controle de resultados principalmente porque o Or amento Governamental e a pr pria administra o p blica federal se encontram organizados em programas distribu dos entre os v rios minist rios O Tribunal compet ncia legal e vem executando avalia es de Contas da Uni o tem de programas desde os idos dos anos 90 na forma de trabalhos de auditoria de natureza operacional cujas contribui es ainda que timidamente come am a ser reconhecidas pel
127. aqui somente tenhamos mencionado o Congresso como cliente principal preciso chamar a aten o para o fato de que algumas EFS fazem parte do Poder Executivo geralmente vinculadas ao rg o Central das Finan as Conquanto constitua exce o regra essa vincula o da EFS ao Executivo n o descaracteriza o ponto fundamental dessa estrat gia que o de garantir uma rela o de accountability entre duas partes na verdade a ess ncia da atividade das EFS Como o Executivo det m muito mais informa es acerca dos resultados de suas atividades que o Legislativo este tem de recorrer a uma organiza o que possua a independ ncia necess ria para examinar de forma imparcial e precisa o desempenho dos programas governamentais Ya Aqui tamb m preciso observar que o Congresso somente demandar da EFS trabalhos orientados para resultados se o paradigma de gest o p blica correspondente estiver na agenda pol tica do Parlamento Em outras palavras se os membros do Congresso n o vislumbrarem ganhos pol ticos nos poss veis resultados das avalia es de programas estas n o ser o solicitadas O desenho metodol gico atinge duas dimens es de resultados dos programas certifica o das informa es prestadas pelos rg os acerca da realiza o das metas programadas efic cia e avalia o da sua qualidade ou efetividade A primeira situa o consiste na aferi o de metas ou padr es gerenciais de pro
128. ar exercem influ ncia definitiva sobre a qualidade do trabalho desenvolvido o tamanho e a diversidade do pa s Al m disso programas operacionalizados por estados ou por terceiros intermediadores podem apresentar diferentes m todos operativos benef cios e sistemas de dados o que evidentemente poder afetar o trabalho de coleta tratamento e an lise dos dados Outro ponto a ser considerado no que diz respeito coleta de dados refere se ao fato de que ser levada a efeito com a coopera o da entidade ou das entidades respons veis pela execu o do programa avaliado podendo enfrentar natural resist ncia oposta pela entidade traduzida em postura defensiva e poss vel omiss o de dados Um cuidado especial deve ser dedicado coleta de dados requerendo planejamento adequado em virtude de que esta embora seja a parte menos interessante do trabalho ser certamente a que maiores esfor os e recursos ir consumir O segundo problema mencionado por Havens de natureza extr nseca pertinente ao mencionado contexto pol tico no qual se insere o programa a ser avaliado Uma m xima do autor proferida em tom jocoso diz que a nica avalia o segura aquela que n o revela nada Dois observados quando se analisa o contexto aspectos relevantes devem ser pol tico O primeiro deles se refere ao fato de que a avalia o de programas e a consequente divulga o de resultados eventualmente n
129. ar o curso e gerar alternativas de atua o do Estado em mat ria de pol ticas p blicas Nesse sentido este estudo prescreve que a Corte de Contas no Brasil busque enriquecer ainda mais seu conte do metodol gico de m todos e t cnicas de controle capazes de realizar an lise prospectiva a respeito dos processos de elabora o e do design de pol ticas p blicas pois conforme demonstrado por interm dio de an lise comparada a EFS no Brasil possui espa o pol tico e legitimidade institucional profissional e t cnica para avan ar seus estudos de an lise de pol ticas p blicas informando seus resultados a seu principal cliente o Congresso Nacional mas tamb m ao Poder Executivo Enfim O TCU deve promover a transpar ncia das a es p blicas com vistas a fomentar o controle social REFER NCIA BIBLIOGR FICA AUCOIN P Administrative Reform in Pub lic Management Paradigms Principles Paradoxes and Pendulums Governance n 3 v 2 p 115 37 1990 The New Public Management Canada in Comparative Perspective Mon treal IRPP 1995 164 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Banco MunDiaL Avalia o dos Sistemas de Administra o e Controle Financeiros do Pa s Country Financial Accountability Assessment Brasil 2002 BARZELAY M Breaking through Bureaucracy A New Vision for Managing in Government Berkeley University of California Press 1992 Central Audit Institutions and Perf
130. as de despesas e receitas do mesmo modo ainda quando o Tribunal de Contas teve seu papel institucional diminu do na Constitui o de 10 de novembro de 1937 foram mantidas as condi es de Corte controladora Com as mudan as pol ticas ocorridas no Brasil em 1945 houve tamb m na Constitui o Federal de 1946 o restabelecimento da plenitude das atribui es do Tribunal de Contas restaurando se ao Tribunal o poder de Corte fiscalizadora J na Constitui o de 24 de janeiro de 1967 este leque foi ampliado em virtude de ter sido conferida ao Tribunal a compet ncia de realiza o de auditorias e inspe es Por m foi na Constitui o Federal de 5 de outubro de 1988 que o Tribunal teve sua atua o substancialmente ampliada ao se atribuir como de sua compet ncia a realiza o de auditorias operacionais Art 71 O controle externo a cargo do Congresso Nacional ser exercido com o aux lio do Tribunal de Contas da Uni o ao qual compete Il julgar as contas dos administradores e demais respons veis por dinheiros bens e valores p blicos da administra o direta e indireta inclu das as funda es e sociedades institu das e mantidas pelo Poder P blico federal e as contas daqueles que derem causa a perda extravio ou outra irregularidade de que resulte preju zo ao er rio p blico IV realizar por iniciativa pr pria da C mara dos Deputados do Senado Federal de Comiss o t cnica ou
131. as despropositados em sua execu o Assim dever o TCU considerar algumas possibilidades a os crit rios que motivaram a escolha das pol ticas p blicas n o dever o ser questionados O que dever ser objeto de an lise a implementa o t cnica dessas pol ticas b as limita es dos formuladores de pol ticas quanto aos aspectos operacionais dos programas de governo poder o ser supridas ou demonstradas ainda na fase anterior implementa o do programa c o p blico alvo dessas discuss es ser composto de ministros do Poder Executivo e de formuladores dessas pol ticas Isso requerer di logo dos formuladores com as partes t cnicas e a Assessoria Parlamentar do Tribunal que se encarregar de estabelecer as atividades de acompanhamento dessas pol ticas d as discuss es sobre o novo PPA 2004 2007 s o oportunas para que se discuta a ado o de determinadas pol ticas de governo discutindo as ainda na fase pr via sua implementa o modo dizer o Desse poder amos enfoque poderia ser adotado de modo abrangente com vistas a se estabelecerem di logos entre o TCU os formuladores os especialistas e os acad micos de pol ticas p blicas J que estudos de avalia o s o ferramentas voltadas para a compreens o de programas de governo enquanto a implementa o a pr pria atividade que busca alcan ar objetivos anteriormente idealizados observaremos ent o que uma a o pautada sobre est
132. as suas conclus es s o teis igualmente para a compreens o dos pontos que poderiam ser melhorados tamb m relativamente s informa es destinadas aos usu rios internos e a outros tipos de informa o produzidos pelo Tribunal 5 1 FALTA DE PADRONIZA O DOS TERMOS T CNICOS USADOS NO TRIBUNAL A capacidade de recupera o e uso de informa es por seus usu rios est diretamente relacionada efic cia dos mecanismos adotados para a classifica o e a indexa o da informa o Sem padr es nicos e apropriados para se classificar de forma sistem tica a informa o os obst culos para a recupera o tempestiva da informa o desejada tornam se quase que insuper veis Tome se o exemplo da auditoria de natureza operacional Embora seja considerada no Manual do TCU como denomina o gen rica das modalidades auditoria de desempenho operacional e avalia o de programa TCU 2000 o termo por vezes usado para classificar trabalhos de auditoria como no exemplo abaixo extra do do Sistema de Normas e Jurisprud ncia do Tribunal GRUPO CLASSE V PLEN RIO TC 012 653 2001 8 Natureza Auditoria de Natureza Op eracional Unidade Departamento de Aten o B sica DAB da Secretaria de Pol ticas 05 Acesso dispon vel na p gina principal do site do TCU lt www tcu gov br gt 118 Pr mio Serzedello Corr a 2003 Monografias Vencedoras de Sa de SPS Respons vel Heloiza H
133. aspectos n o se restringe a eles A auditoria de desempenho e a avalia o de programas s o basicamente atividades exclusivas do setor p blico pois seu objetivo final revisar e avaliar o impacto de pol ticas p blicas sua boa condu o e o valor p blico que essas pol ticas agregam sociedade A auditoria operacional almeja agregar valor privado para os acionistas maximiza o do lucro ou minimiza o do preju zo portanto seu escopo menos abrangente H que se destacar que a atividade de auditoria e avalia o de desempenho parece ser um conceito e uma pr tica discutidos quase que exclusivamente no contexto de organiza es do setor p blico No campo da iniciativa privada certo que existem novas abordagens para auditoria tais como auditorias operacionais de gest o de qualidade total ou de meio ambiente A diferen a essencial entre essas duas esferas de atua o a p blica e a privada que no mbito n o p blico as atividades de auditoria s o caracteristicamente formas internalizadas de controle corporativo enquanto no setor p blico a auditoria de desempenho e a avalia o s o conduzidas como partes do sistema de controle externo atuando em organiza es p blicas Ressalte se que de acordo com o Chartered 09 An lise de Pol ticas P blicas uma ferramenta conhecida de planejamento no dom nio p blico FRIEDMAN 1987 p 151 O modelo econ mico de an lise de pol tica p bli
134. aut noma com atri bui es de revis o e julgamento cercado de garantias contra quaisquer amea as pudesse exercer as suas fun es vitais no organismo constitucional sem riscos de converter se em Institui o de ornato aparatoso e in til A grandeza e a atualidade do pensamento do Legislador baiano bem refletida nessa exposi o de motivos pois embora condicionado pelas circunst ncias da poca que delimitavam o papel das Cortes de Contas an lise das finan as de governo tamb m previu a possibilidade de atribui es de revis o e julgamento desde que o organismo constitucional assim o previsse Isso bem paradigm tico caso nos ativermos aos novos pap is desempenhados pelos Tribunais de Contas atualmente n o s no Brasil mas em todo o mundo 3 ATUA O E PAPEL DO TCU NA HIST RIA BRASILEIRA Historicamente o TCU sempre atuou no chamado controle externo de contas do Governo Esse papel foi ratificado na Constitui o Federal de 1988 e acrescido da possibilidade de execu o das chamadas auditorias operacionais ou gerenciais Com esta nova atribui o as pol ticas p blicas brasileiras passaram a contar com a possibilidade de instrumentos efetivos de an lise Conforme a Constitui o Federal as atua es do TCU s o pautadas por dois pressupostos auditoria financeira e or ament ria que trata do exame de transa es registros sistemas cont beis e informa es financeiras da Uni o e
135. blicos no Brasil o papel do Tribunal de Contas da Uni o 55 dos administradores Assim os governantes passam a ser responsabilizados a prestar contas n o somente na poca das elei es mas permanentemente sobre a efetividade de seus programas A responsabiliza o por resultados pressup e o fortalecimento do administrador p blico conferindo lhe maior liberdade de a o De outro modo n o h como responsabilizar por resultados um gerente que apenas aplica normas e cumpre procedimentos legais No entanto a id ia de liberdade gerencial soa inoportuna em pa ses perif ricos sujeitos a fortes restri es fiscais acometidos de n veis preocupantes de corrup o e sem sistemas adequados de informa es sobre o desempenho clara a conex o entre a responsabiliza o por resultados e a realizada mediante controle social A sociedade participa do controle de resultados na discuss o das metas dos indicadores de desempenho a ser utilizados bem como na avalia o direta dos servi os O controle social envolve ainda a participa o social na formula o e at mesmo na gest o das pol ticas p blicas como ocorre principalmente nas reas da sa de e da educa o no Brasil Assim como a responsabiliza o por meio do Parlamento a efetividade do controle social depende fortemente da maturidade democr tica da sociedade e dos instrumentos institucionais dispon veis para o exerc cio desse controle Acrescente se que
136. bu das pela Comiss o Julgadora sucessivamente nos itens aplicabilidade conte do linguagem fundamenta o e segii ncia l gica 8 2 No caso de persist ncia de empate ser realizada vota o secreta entre os membros da Comiss o Julgadora para escolha do melhor trabalho Art 12 A Comiss o Julgadora soberana em seu julgamento n o cabendo recurso das decis es que proferir Art 13 A Comiss o Julgadora ter prazo at 10 de outubro de 2003 para julgamento das monografias apresentadas e elabora o de relat rio final e dissolver se ap s a conclus o dos trabalhos Par grafo nico A Comiss o Julgadora quando considerar necess rio poder solicitar ao Presidente do TCU a prorroga o do prazo de que trata o caput deste artigo Art 14 A crit rio da Comiss o Julgadora os pr mios poder o deixar de ser conferidos caso referida Comiss o conclua n o haver monografias merecedoras de premia o Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 9 DA DIVULGA O DOS RESULTADOS E DA PREMIA O Art 15 A abertura dos envelopes com as fichas de identifica o dos autores das monografias vencedoras ser realizada em sess o p blica no dia 13 de outubro de 2003 s 15 horas no Sal o Nobre da sede do Tribunal de Contas da Uni o no Distrito Federal em Bras lia edif cio principal 2 andar Art 16 O resultado do Pr mio Serzedello Corr a 2003 ser publicado no
137. ca fornecido por Friedman coloca essa disciplina como fornecedora de informa es e consultoria para formuladores de pol ticas p blicas Ibid p 139139 144 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Institute of Public Finance and Accountancy CIPFA as diferen as entre auditoria p blica e privada s o que l existe maior independ ncia dos auditores p blicos em rela o aos rg os que eles auditam 2 possuem os auditores p blicos papel mais diversificado e as auditorias por eles conduzidas um escopo mais extenso que sua correspondente na iniciativa privada 3 sao mais extensas linhas de relat rios e informa es dos auditores p blicos e atingem um p blico de interessados maior e mais diversificado 4 s o mais informativos e formativos os trabalhos de auditoria de desempenho e avalia o de programas que quaisquer outros trabalhos de auditoria privada 2 3 AVALIA O DE PROGRAMAS AUDITORIA DE DESEMPENHO AVALIA O No seu termo mais puro a avalia o de programas de governo uma atividade eminentemente desenvolvida por interm dio de ferramentas cient ficas que buscam de maneira retrospectiva analisar o impacto de pol ticas p blicas De acordo com Verdung 1997 p 7 avalia o uma an lise cuidadosa do m rito da subst ncia e do valor administrativo do produto e do resultado de interven es governamentais preciso repensar o conceito tradicional de avalia
138. cas porque ele controla uma comunidade disciplinada e integrada de formuladores de pol ticas p blicas Assim ao se comparar as estrat gias de controle desses dois Pa ses com o caso brasileiro conclui se que o TCU a exemplo do GAO poderia incrementar ainda mais seu foco nos resultados e nos m ritos das pol ticas p blicas uma vez que tamb m controla uma burocracia fragmentada e mais ainda pouco capaz de formular pol ticas p blicas de forma continuada e consistente pois existe um d ficit na profissionaliza o e na institui es de carreiras no mbito do Executivo nacional No Reino Unido complexa existe uma alian a entre o Tesouro o Comit Parlamentar de Controle e Fiscaliza o Public Accounts Committee PAC e o Controlador Geral Comptroller and Auditor General C amp AG No seio dessa alian a os limites da auditoria estatal e o papel do C amp AG est o em constante movimento DEWAR 1991 Essa alian a indica que o papel do N O na condu o de auditorias de value for money auditorias de desempenho deve ser limitado quanto a aspectos de m rito de pol ticas p blicas e de fato repousa em outros tipos de auditoria de desempenho Trabalhos baseados em crit rios de efetividade de programa conduzidos pelo N O s o poucos Esses trabalhos n o somam mais de vinte e dois de 1993 1995 POLLITT et al 1999 p 98 Essas auditorias supostamente n o devem questionar o m rito das pol ticas p blicas
139. cesso em 7 ago 2003 INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS mplementa tion Guidelines for Performance Auditing Standards Exposure Draft Dispon vel em lt http www intosai org 2_Enlmple pdf gt Acesso em 1 ago 2003 MATA M rcia Filomena de Oliveira Fiscaliza o da Administra o P blica em Face da Economi cidade Revista dos Tribunais S o Paulo v 83 n 710 dez 1994 p 233 236 MELLO Celso Ant nio Bandeira de Curso de Direito Administrativo 4 Edi o S o Paulo Mal heiros Editores 1993 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 71 MOORE Mark H Creating Public Value Cambridge Harvard University Press 1995 O DONNELL Guilhermo Accountability horizontal e novas poliarquias Lua Nova n 44 1998 p 26 54 POLLITT Christopher et al Performance or Compliance Performance Audit and Public Man agement in Five Countries Oxford Oxford University Press Addison Wesley 1999 REIS Neide de Souza Controle Externo e Interno da Administra o P blica F rum Administrativo v 1 n 8 out 2001 pp 1035 1040 RIBEIRO FILHO Jos Francisco Controle Gerencial para Entidades da Administra o P blica 2 Pr mio STN de Monografia Bras lia ESAF 1998 pp 339 396 SCHICK Allen A Contemporary Approach to Public Expenditure Management Washington World Bank 1998 SEVILHA Alberto O Minist rio P blico junto aos Tribunais
140. ciais do NPR TRODDEN 1996 30 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Uma das poss veis vantagens da ado o de uma abordagem t pica de consultoria a utiliza o do potencial da avalia o de programas para as reformas gerencias atualmente em curso em diversos pa ses ficando a EFS numa posi o de lideran a tecnol gica no processo de mudan a da administra o p blica A EFS da Su cia por exemplo atuou intensamente como agente de mudan as no processo de reforma gerencial ocorrido naquele Pa s HOMLMQUIST amp LARSSON 1996 A vertente da divulga o de boas pr ticas e a difus o de benchmarks tamb m podem ser identificadas na atua o da EFS do Canad HOMLMQUIST amp LARSON 1996 e nas declara es de miss o dos planejamentos estrat gicos de outras EFS tamb m mais ligadas aos parlamentos de seus pa ses como as EFS dos Estados Unidos General Accounting Office GAO ea do Reino Unido National Audit Office NAO Trabalhos recentes do Tribunal de Contas da Uni o 2001 200la 2001b 2000 1999 EFS brasileira mostram tend ncia vertente de fomento ao desenvolvimento de indicadores de desempenho nos programas governamentais A postura de parceiro da Administra o tamb m diminui resist ncias institucionais ou pol ticas atua o da EFS raz o pela qual pode ser utilizada para viabilizar o exerc cio de suas atividades na rea de resultados quando seu mandato co
141. ciar o curso e gerar alternativas de atua o do Estado em mat rias de pol ticas p blicas de forma tempestiva Nesse sentido este estudo prescreve que a Corte de Contas no Brasil busque enriquecer ainda mais suas pr ticas de controle incluindo novos m todos e t cnicas que desenvolvam an lises prospectivas a respeito dos processos de elabora o e design de pol ticas p blicas pois conforme ser demonstrado por interm dio de an lise comparada a EFS no Brasil possui espa o pol tico e legitimidades institucional profissional e t cnica para avan ar seus estudos de an lise de pol ticas p blicas informando os a seu principal cliente o Congresso Nacional mas tamb m ao Executivo pol tico O TCU deve assim promover a transpar ncia das a es p blicas com vistas a fomentar o controle social Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 141 2 ATIVIDADE DE AUDITORIA GOVERNAMEN TAL EVOLU O DE UM CONCEITO MAS PRINCIPALMENTE DE PR TICAS De acordo com Pollitt et al 1999 auditoria de desempenho est relacionada ao atendimento de alguns crit rios al m dos crit rios de efici ncia de economia e de efetividade 3 Es categorizados da seguinte forma e boapr tica de gest o consiste em tes tes de verifica o se um auditado possui bom sistema de contabiliza o procedimentos de determina o de metas se existe boa rela o com os clientes sis
142. cionada ocorrida no PPA 2000 2003 indica que a avalia o de programas p blicos no Brasilassume import ncia crescente e ganha espa o cada vez maior na agenda do controle e consequentemente na de governos e pesquisadores II ESTUDOS SOBRE METODOLOGIAS DE AVALIA O DE PROGRAMAS A SEREM IMPLANTADAS PELAS EFS A partir deste cap tulo o trabalho deixa de ser informativo e passa a ser anal tico Deste ponto em diante deixamos de lado os conceitos e a evolu o hist rica e nos deteremos em analisar e tecer considera es a respeito da metodologia existente sobre avalia o de programas Procuraremos esclarecer se o trabalho que hoje desenvolvido nas EFS mesmo de avalia o de programas ou se auditoria de desempenho Da mesma forma vamos tentar ressaltar o porqu de as EFS executarem avalia es de programas dentro do seu conjunto de atribui es bem como de que maneiras essas avalia es de programas podem ser por elas realizadas Ao final deste cap tulo estaremos prontos para decidir no cap tulo seguinte o ltimo de que maneira a nossa EFS o Tribunal de Contas da Uni o pode ter sua atua o otimizada na avalia o de programas p blicos em nosso Pa s 1 O QUE FAZ A EFS AVALIA O DE PROGRAMAS OU AUDITORIA DE DESEMPENHO Uma quest o preliminar e interessante a respeito dessa assimila o e adapta o metodol gica por parte das EFS diz respeito a saber se as avalia es de programas
143. cional financiado pelo governo 72 Pr mio Serzedello Corr a 2003 Monografias Vencedoras do Reino Unido o que o levou a fazer viagem de estudos quele Pa s com passagem pelo Na tional Audit Office District Audit e Audit Comission instrutor do Instituto Serzedello Corr a em cursos relacionados com auditoria operacional e ministrou um dos m dulos do Curso de Especializa o em Auditoria de Desempenho da Funda o Get lio Vargas em 2003 Foi classifi cado em terceiro lugar no concurso de monografias do Pr mio Maur cio Caldeira de Alvarenga promovido pelo Tribunal de Contas do Munic pio do Rio de Janeiro em 2003 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 73 3 Colocado Avalia o de Programas P blicos no Brasil O Papel do Tribunal de Contas da Uni o O TCU e a Busca pelo Aprimoramento das Avalia es de Pol ticas P blicas no Brasil Benjamin Lima J nior 1 INTRODU O A cultura de avalia o de programas p blicos pode ser considerada como recente cap tulo na Hist ria brasileira e mesmo no contexto mundial No caso brasileiro embora essa pr tica conte com pouco mais de uma d cada h uma s rie de resultados positivos e de fatores que nos motivam em busca do aprimoramento da metodologia dessa a o Dentre os fatos animadores um dos mais not veis o relat rio da Organiza o das Na es Unidas ONU divulgado em 2003 que abalizado demonstrativ
144. cipa o nas negocia es or ament rias entre o Minist rio das Finan as e os outros minist rios e ainda prover de informa es o Comit de Or amento do Parlamento alem o 6 CONTROLE E TRANSFORMA ES EM POL TICAS DE GEST O P BLICA EM BUSCA DE UMA TEORIA DE CONTROLE DE RESUL TADOS Para discuss o do tema controle governamental accountability de conformidade deve estar relacionada com modelos que refletem id ias da Administra o P blica Progressista HOOD JACKSON 1991 Tais modelos referem se dentre outros a formas tradicionais de auditoria de conformidade baseadas em demonstrativos financeiros processos de certifica o busca da legalidade e cumprimento do processo legal Essas pr ticas espelham um conjunto de id ias sobre a maneira que se julga apropriada para se desenvolverem os processos de responsabilizagao e transpar ncia da gest o no mbito do servi o p blico Essas id ias se baseiam em justificativas e valores denominados por Hood e Jackson 1991 p 1 1 como do tipo theta Accountability de desempenho refere se a id ias pertencentes ao recente campo do conhecimento sobre o 10 Valores do tipo sigma theta e lambda s o conjuntos de valores administrativos em gerenciamento p blico que justificam um argumento administrativo O primeiro enfoca a efici ncia custos e a efetividade outputs outcomes com o principal valor do gerenciamento p blico O segundo tipo theta enfoca o gerencia
145. cipal ator s o as pr prias EFS 1 DELINEAMENTO DO CAMPO DE ATUA O DO CONTROLE GOVERNAMENTAL REPEN SANDO O PAPEL DAS EFS SER O 2 As atuais tend ncias de abordagem do controle da burocracia indicam que ele deve se aproximar mais dos processos de formula o e implementa o de pol ticas p blicas Assim argumenta se que o controle governamental deve ser situado num campo de estudo pertencente a pol ticas de gest o p blica Tais pol ticas visam a aperfei oar reas de a o governamental tais como finan as p blicas or amento p blico servi o p blico e rela es trabalhistas planejamento de despesas e receitas p blicas compras no setor p blico auditoria e avalia o da atividade governamental Estas duas ltimas reas s o as de interesse para este Ensaio e relacionam se pr pria atividade de rg os de controle Salienta se entretanto que as outras pol ticas de gest o constituem objetos de fiscaliza o conduzidos por EFS Assim ao se abordar o processo de formula o e implementa o de pol ticas de gest o p blicas relacionadas a auditoria e avalia o pelo menos quatro dimens es do controle governamental devem ser analisadas a saber a pol tica a organizacional a gerencial e a metodol gica Ao se abordar a dimens o pol tica de modelos de controle e avalia o percebe se 06 M todos conforme definido neste estudo referem se a procedimentos gerais contidos nos instrumento
146. coleta sistem tica de informa es sobre as a es as caracter sticas e o resultados de um programa e a identifica o esclare cimento e aplica o de crit rios pass veis de serem defendidos publicamente para determinar o valor m rito e relev ncia a qualidade utilidade efetividade ou import ncia do programa sendo avaliado em rela o aos crit rios estabelecidos gerando recomenda es para melhorar o programa e as informa es para prestar contas aos p blicos interno e externo ao programa do trabalho desenvolvido Para Weiss 1998 p 5 avalia o pode ser entendida como 6 TRIBUNAL DE CONTAS DA UNI O Dispon vel em lt http www tcu gov br gt Acesso em 10 de julho de 2003 7 Para maior detalhamento encontramos descritas na Portaria Seprog n 1 de 25 04 2001 as atribui es e as fun es da Secretaria de Fiscaliza o e Avalia o de Programas de Governo Seprog Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 83 a estimativa sistem tica da opera o e ou dos resultados de um programa ou de uma pol tica policy em compara o com um conjunto de par metros impl citos ou expl citos como forma de contribuir para o aprimoramento do programa ou pol tica Ainda segundo Chianca 2001 p 18 do ponto de temos vista temporal diferentes tipos de avalia o avalia o do tipo marco zero cuja ocorr ncia se d antes da instala
147. ctativas da sociedade e s do Congresso Nacional em rela o avalia o de programas de governo ii contribuir para maior transpar ncia das a es governamentais fortalecimento do controle social e maior impacto dos programas de governo iii manter se na vanguarda de t cnicas e metodologias de auditorias de natureza operacional iv assegurar que as avalia es de programas de governo estejam relacionadas s reas de maiores risco relev ncia e materialidade v contribuir para a expans o e o aperfei oamento da a o institucional de avaliar programas de governo vi assegurar que os padr es de qualidade estabelecidos sejam atingidos e aumentar o impacto das auditorias 5 TIPOS E CONCEITOS DE AVALIA O Grande parte do novo papel desempenhado pelo TCU no contexto nacional respaldada pelas diretrizes delineadas nas avalia es de programas de governo Nesse sentido o Tribunal tem atuado pontualmente em busca de dom nios t cnicos e institucionais que garantam a boa qualidade de seus trabalhos Assim o TCU tem avaliado sistematicamente programas de governo com o objetivo de estimar os resultados objetivos de um programa em seus aspectos de efici ncia efetividade e relev ncia dentre outros observando sempre a tica do aprimoramento das pol ticas de governo termo Conceitualmente o avalia o pode ser definido de diversas maneiras Segundo Chianca 2001 p 16 o termo assim entendido A
148. da a o governamental J em 1976 ao apresentar os Princ pios de Auditoria Governamental aplic veis tanto x auditoria operacional como financeira realizadas no setor p blico James P Wesberry presidente do Instituto Internacional de Desenvolvimento Profissional do Equador mencionou um de n mero l4 que particularmente importante para o estudo da evolu o da auditoria governamental De acordo com aquele princ pio a auditoria governamental j naquela poca se preocupava principalmente com a melhoria das opera es futuras muito mais que a cr tica ao passado a divulga o de irregularidades e a aplica o de san es Comentando o postulado disse o autor uma for a positiva que continuamente busca melhorar a administra o p blica voltando se a encontrar melhores e mais efetivas eficientes e econ micas medidas de prover os servi os de governo e de levar a cabo as fun es p blicas auditoria governamental moderna n o se dirige divulga o de fraudes e outras irregularidades de maior ou menor import ncia apesar de que sua revela o pode e frequentemente se produz A auditoria governamental moderna de igual modo n o se dirige principalmente x divulga o de irregularidades administrativas com o prop sito de aplica o de san es administrativas Elmer B Staats ent o Controlador Geral dos Estados Unidos em discurso proferido na Primeira
149. dades dos processos de gest o p blica entretanto dever o ser levadas em considera o para que se possa discutir de forma apropriada as limita es e as possibilidades de o controle governamental ser utilizado como ferramenta de aumento da accountability democr tica e de melhoria do servi o p blico com foco em resultados da atua o do Estado Ao se analisar a quarta dimens o a metodol gica tentar se 4 apreciar se as principais ferramentas dispon veis para utiliza o em auditorias de desempenho operacional e avalia es de programas de governo conduzidas pelo TCU permitem ao rg o de controle externo exercer a plenitude de seu mandato nessa dimens o do controle desempenho Argumenta se que o ferramental metodol gico aplicado pelo TCU deve ser expandido de forma a agregar mecanismos de avalia o de impacto da gest o p blica bem como de verificar pol ticas p blicas tanto nas dimens es retrospectivas quanto nas informa es prospectivas relevantes decorrentes de sua an lise fornecendo as a formuladores de pol ticas p blicas mormente ao Congresso Nacional mas tamb m ao Poder Executivo Os atuais instrumentos de controle do TCU s o apropriados para an lise de pr ticas de gest o mas ainda insuficientes para exame de m dio e longo prazos de impactos de pol ticas p blicas Al m disso a an lise n o permite de forma sistem tica que se alcancem resultados de fiscaliza o que possam influen
150. desencanto p blico com o desempenho governamental RHODES 1997 p 42 Esse avan o nas id ias e nas mudan as no ambiente de opera o governamental HOOD 1994 tem desafiado o papel do Estado de bem estar conduzindo o inexoravelmente a um Estado regulador Majone 1994 Hood et al 1999 A auditoria de desempenho parece estar respondendo a essas transforma es como imagem refletida no espelho Hood et al 1999 p 7 de mudan a nas opera es governamentais e imagens criadas sobre o que representa um bom e respons vel governo AUCOIN 1995 Apesar dessa transforma o convergente nas pr ticas de controle externo rumo auditoria de desempenho entre pa ses democr ticos e orientados ao mercado um padr o dissimilar dessas pr ticas tamb m verific vel Tal padr o que se verifica nessas pr ticas diz respeito condu o de trabalhos que tendam a questionar conte do ou m rito de pol ticas p blicas Argumenta se aqui que o General Accounting Office GAO rg o de controle externo dos Estados Unidos capaz de conduzir trabalhos de auditoria de desempenho e avalia o de programas questionando mat rias de conte do de pol ticas p blicas porque ele est incrustado em ambiente fragmentado e n o monol tico de formula o de pol ticas p blicas O National Audit Office brit nico encontra por sua vez dificuldades rg o de controle externo em questionar os conte dos das pol ticas p bli
151. desenvolvidas pelas EFS confundem se ou n o com um tipo de atividade anteriormente existente nessas entidades a auditoria de desempenho performance audit ou value for money audit Autores mais ligados ao campo da avalia o de programas como Chelimsky e Rist caracterizam a auditoria de desempenho como um tipo de avalia o de programas apud BARZELAY 1998 Em linha oposta autores como Davis e a mesma Chelimsky em trabalho anterior tra am uma linha divis ria clara entre auditoria de desempenho e avalia o de programas a partir das diferen as em v rios aspectos dos trabalhos desenvolvidos pelas duas tradi es CHELIMSKY 1990 DAVIS 1990 J Barzelay utilizando comparativamente conceitos de modelos mentais pap is Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 27 desempenhados e modos de revis o empregados em auditoria avalia o de programas e em auditoria de desempenho defende que esta ltima uma atividade intermedi ria entre as duas primeiras Nesses termos a denomina o se deveria basicamente simples tradi o ling stica e ao fato de a auditoria de desempenho poder ser conduzida de maneira a imitar o processo de auditoria BARZELAY 1998 Finalmente Pollitt entende que n o h diferen as relevantes entre as duas atividades x exceto no que se refere quest o da independ ncia condi o intrinsecamente relacionada pr t
152. dministra o para o Desenvolvimento CLAD coordenou um estudo que apresenta a tipologia de responsabiliza o aqui utilizada CLAD 1999 Sob a perspectiva da teoria do agente principal a responsabiliza o pode ser vertical ou horizontal O DONNELL 1998 Ya A responsabiliza o vertical a exercida pelo principal cidad os sobre os agentes governantes por interm dio das elei es A 54 Pr mio Serzedello Corr a 2003 Monografias Vencedoras responsabiliza o horizontal n o exercida diretamente pelos agentes mas mediante mecanismos institucionais que permitem o controle nos intervalos entre as elei es Essa uma entre v rias tipologias de responsabiliza o e serve ao prop sito metodol gico de compreens o do sistema Deve ficar claro que os tipos de controle interagem e idealmente se alimentam uns dos produtos dos outros O controle vertical realizado periodicamente por ocasi o das elei es em intervalos de v rios anos o que n o permite corrigir erros dos agentes durante os intervalos Aresponsabiliza o vertical ainda afetada pelos mecanismos pol ticos que regem a organiza o partid ria o financiamento das campanhas o sistema eleitoral e a distribui o de poder entre o Executivo e o Legislativo Segundo a cr tica de Rousseau o povo soberano no momento da vota o e deixa de s lo no dia seguinte CLAD 1999 Apesar de ser fundamental na democracia o processo e
153. do TCU 1 Trimestre de 2003 Bras lia 2003b Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 133 ZYMLER Benjamin O Controle Externo O Tribunal de Contas da Uni o Revista da Advocacia Geral da Uni o Bras lia Ano II n 12 jul 2001 ANEXO ANEXO I Decis o 414 2002 Plen rio Processo 013 002 2001 0 Natureza Relat rio de Auditoria de Natureza Operacional Entidade Secretaria de Estado de Assist ncia Social SEAS MPAS Assunto Relat rio de Auditoria de Natureza Operacional Ministro Relator ADYLSON MOTTA Unidade T cnica SEPROG Sec de Fisc de Aval de Prog de Gov Decis o O Tribunal Pleno diante das raz es expostas pelo Relator DECIDE 8 1 determinar Secretaria de Estado de Assist ncia Social SEAS do Minist rio da Previd ncia e Assist ncia Social que 8 1 1 implemente a es no sentido de uniformizar em mbito nacional os crit rios para inclus o das fam lias no Programa de Erradica o do Trabalho Infantil PETI e a metodologia de identifica o dessas fam lias 8 1 2 envide esfor os junto ao Minist rio do Trabalho no sentido de identificar e quantificar as crian as que se encontram no trabalho infantil atualmente no Brasil a fim de constituir e manter cadastro atualizado com suas informa es 8 1 3 realize o monitoramento junto aos munic pios com a finalidade de verificar a exist ncia de crian as que n o participam do programa po
154. do mutir o entre as fam lias na conserva o manuten o e limpeza dos centros bem como envolver os empres rios e associa es em campanhas de doa o de equipamentos material de constru o e cess o de reas para a constru o de escolas 8 1 17 inclua no Manual Operacional do PETI quais os par metros m nimos de qualidade que devem ter os locais e instala es da Jornada Ampliada considerando sempre as condi es de infra estrutura administrativa e peculiaridades locais de cada munic pio no sentido de possibilitar que cada centro disponha de banheiro rea para cozinha e prepara o das refei es gua luz instala es e mobili rio adequados 8 1 18 divulgue junto aos diversos representantes da sociedade bem como aos participantes do Programa a finalidade das Comiss es de Erradica o do Trabalho Infantil suas compet ncias seus membros e o local de funcionamento conscientizando os da import ncia de sua participa o nas reuni es 8 1 19 busque meios de priorizar os munic pios menores e mais pobres menor IDH que n o possuem condi es de manter um n vel aceit vel de qualidade na execu o do Programa direcionando lhes mais recursos e apoio operacional 8 1 20 remeta a este Tribunal no prazo de 60 dias plano de a o contendo cronograma de ado o das medidas necess rias implementa o das recomenda es desta Corte de Contas com o nome dos respectivos respons veis pela ado o das provid
155. dores de decis es a especifica o das alternativas vi veis determina quais solu es eles devem considerar quando uma decis o deve ser levada a efeito 156 Pr mio Serzedello Corr a 2003 Monografias Vencedoras O que se busca salientar nesse ponto que a maneira pela qual determinada EFS conduz os processos de avalia o e an lise de desempenho moldada e limitada por fatores dentro dos Estados nacionais mais que uma quest o t cnica que demonstre a melhor maneira de se proceder revis o e ao controle governamental N o existe ainda um conjunto coerente e program tico de se conduzir auditoria de desempenho Pelo contr rio as EFS t m desenvolvido diferentes tipos de controle por resultado e revis o de melhores pr ticas sobre um mesmo r tulo denominado auditoria de desempenho Evid ncias emp ricas entre os pa ses da OCDE t m demonstrado que apenas algumas EFS consideram a possibilidade de incluir quest es relativas a conte do de pol ticas p blicas ao desenvolver trabalhos de auditoria de desempenho Austr lia Alemanha Holanda Su cia e Estados Unidos parecem ser os nicos pa ses que buscam atacar quest es dessa natureza Barzelay 1997 p 396 O argumento que ir se tratar aqui que o controle de desempenho faz parte de um processo de Pol tica de Escolha P blica DUNN 1994 Dessa forma os processos pol ticos e organizacionais dos quais emergiram as auditorias de desempenho e as avalia
156. dos os programas foram analisados acerca de se s o ou n o adequados ao tipo de trabalho de auditoria operacional Atribu mos n meros de 1 a 6 a cada programa Aqueles classificados como de n mero 1 foram definidos como pertencentes ao grupo de infra estrutura 2 institucionais 3 descentralizados 4 Gest o de pol ticas p blicas 5 Servi os de Estado 6 Apoio Administrativo Para os trabalhos de auditoria operacional do TCU somente aqueles classificados como 2 ou 3 foram considerados adequados Este tipo de trabalho pode sem dificuldades ser refeito quando da publica o do novo PPA 2004 2007 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 95 Seprog atinjam o n cleo visado de forma id ntica e proporcional Esse n cleo hoje est centrado nos programas estrat gicos de governo Al m disso buscamos tamb m manter proporcionalidade entre os tipos de programa nos quais s o cab veis as auditorias operacionais Em nossa proposta refizemos essa classifica o Nossa divis o de programas foi feita pela subdivis o dos chamados programas final sticos que foram desmembrados em mais tr s tipos de programas infra estrutura descentralizado e institucional Tal reclassifica o visa a aperfei oar o papel do Tribunal na avalia o de programas o que em raz o das especificidades do campo de trabalho do TCU Seprog ainda n o possui um modelo que sirva de par metro para uma classifica
157. e 68 Pr mio Serzedello Corr a 2003 Monografias Vencedoras cess rio desenvolver o controle por resultados Em conson ncia com esse pensamento a IN TCU n 12 96 j prev a inclus o de indicadores de gest o que permitam aferir a efici ncia efica cia e economicidade da a o administrativa Contudo o Tribunal de Contas da Uni o ainda n o incorporou a dimens o do desempenho de forma efetiva an lise da gest o A instrumenta o do controle do m rito por interm dio dos princ pios da economicidade e da efici ncia tarefa ainda a ser empreendida necess rio examinar caso a caso as reas de atividade da Administra o e tra ar par metros A constru o dos mecanismos de avalia o e de responsabiliza o por resultados s n o admite a omiss o De outro modo pode se p r em risco a exist ncia dos tribunais de contas ou a diminui o de seu papel ao ter que dividir o controle externo com outros rg os especializados na avalia o de planos e programas do ponto de vista do desempenho Como j alertava Gunter Kisker Neue Jurisiche Wochnschrift 1983 apud Torres 1991 quando os rg os de controle por temerem ser acusados de politiza o renunciam aprecia o da finalidade jur dica pol tica deles ent o h pouco a esperar para a seguran a da economicidade e da economia BILIOGRAFIA AFFONSO Sebasti o Baptista Princ pios Regedores da Administra o P blica Revis
158. e auditoria sist mica seccional A Corte Alem apesar de estar onerada legalmente em desenvolver trabalhos de auditoria de efetividade e avalia o de programas acredita que os trabalhos devem ser conduzidos por entidades de controle internas aos minist rios e s ag ncias Seu papel se refere verifica o se tais avalia es e tal an lise est o sendo realmente desenvolvidas e com que qualidade A an lise de custo benef cio de pol ticas p blicas tamb m possui a mesma l gica de apresenta o da anterior no mbito da Corte Alem Seu papel garantir que houve an lise de custo benef cio avaliar a an lise e verificar se foram levadas em conta as recomenda es na formula o e na implementa o das pol ticas As auditorias concorrentes de programa referem se an lise ex ante efetuada pela Corte Alem no caso de propostas de despesas n o previstas no or amento ou no investimento As auditorias sist micas englobam o exame de quest es amplas de gerenciamento governamental e geralmente envolvem mais de um rg o ou um programa Al m dessas compet ncias a Corte Alem respons vel por promover e estabelecer a ader ncia dos rg os p blicos com as leis e os regulamentos or ament rios O Presidente da Corte pode ex officio expedir propostas relat rios recomenda es e opini es que visem a alavancar a efici ncia da gest o p blica Outra caracter stica da Corte Alem sua parti
159. e Nao se observa interesse do Executivo vinculado ao aux lio na moderniza o da maquina p blica ou tampouco do Congresso na verifica o das informa es de desempenho prestadas pelo Executivo Em outras palavras a avalia o do desempenho governamental n o est na agenda dos principais atores do setor p blico ou pelo menos est em segundo ou terceiro plano Nesse contexto a pergunta que vamos procurar responder em primeiro lugar se mesmo nessas condi es h espa o ou oportunidade para cria o de valor p blico pelas EFS por interm dio da atividade de auditoria de desempenho Em termos substantivos a EFS pode criar valor alertando os rg os p blicos o Governo o Congresso ou a sociedade sobre os principais riscos ou as defici ncias graves em programas projetos rg os ou entidades governamentais Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 33 Outra linha de atua o muito pr xima da anterior a evidencia o nos trabalhos de avalia o das EFS da import ncia estrat gica de programas ou projetos que estejam sendo relegados a segundo plano Nesse caso embora n o existam mecanismos de press o do Legislativo sobre o Executivo para a implementa o das recomenda es eventualmente propostas pela EFS a divulga o e a repercuss o de conclus es desse g nero potencialmente provoca a inser o dos temas em quest o na agenda governamental e p
160. e 2002 Autor ACESSIBILIDADE AS INFORMACGES DO CONTROLE EXTERNO UM INSTRUMENTO PARA O CONTROLE SOCIAL DO ESTADO Autor Jos Tanajura Carvalho Edi o N 01 de 2002 Produzido poe tinola PODER DE COER O E PODER DE SAN O DOS TRIBUNAIS DE CONTAS COMPET NCIA NORMATIVA E DEVIDO PROCESSO LEGAL Autor Luciano Ferraz Edi o N 02 de 2002 Para demonstrar a utilidade do uso do hipertexto na localiza o e no acesso a informa es reproduz se na Figura 5 a tela de pesquisa da Revista do Tribunal de Contas do Estado de Minas Gerais Para uma pesquisa mais r pida poss vel selecionar no formul rio esquerda a se o desejada ou todas o ano o n mero da edi o ou o autor No caso ilustrado na Figura utilizou se como filtros a se o Doutrina o ano 2002 todas as edi es e todos os autores para uma pesquisa do termo TCU O resultado aparece na coluna da direita da tela informando a exist ncia de quatro artigos que mencionam o TCU nessas edi es O conte do desses artigos pode ser facilmente visualizado com um simples clicar nos links dos respectivos t tulos ao contr rio do ndice de edi es da Revista do TCU que n o oferece o mesmo recurso de hipertexto para o acesso direto aos artigos publicados Como se pode notar nesse simples exemplo a oferta de mecanismos b sicos de busca e de acesso individualizado a artigos atos normativos e outros tipos de documentos favorece Avalia
161. e Freitas mestrando em Administra o pela Universidade de Bras lia UnB Especialista em Avalia o de Pol ticas P blicas pela Universidade Federal do Rio de Janeiro UFRJ e em Estudos de Pol tica e Estrat gia pela Universidade de Bras lia UnB al m de bacharel em Ci ncias N uticas formado pela Escola de Forma o de Oficias da Marinha Mercante EFOMM Cursou o Executive Development Program in Performance Manage 42 Pr mio Serzedello Corr a 2003 Monografias Vencedoras ment na Virginia Polytechnic Institute and State University Funda o Get lio Vargas em Washing ton Participou do curso Evaluaci n de Programas no Tribunal de Cuentas de la Republica Oriental Del Uruguay e Organizaci n Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores em Montevideo Na rea acad mica atua eventualmente como professor convidado da Funda o Get lio Vargas FGV e autor de artigos em diversas publica es nacionais na rea de administra o e controle externo Desde 1996 ocupa a fun o de Assessor no gabinete do ministro Humberto Guimar es Souto tendo trabalhado anteriormente na 9 Secretaria de Controle Externo 9 SECEX e na Secretaria de Controle Interno do Minist rio de Minas e Energia CISET MME Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 43 2 Colocado Avalia o de Programas e Responsabiliza o dos Agentes P blicos pelo Resultad
162. e Montesquieu pensador franc s em o Esp rito das Leis 1748 perceberam a nitidez da separa o dos Poderes para que se garantisse aos cidad os a corre o das imperfei es estatais Embora desconhecido de grande parte foi John Locke quem primeiro percebeu a import ncia do controle de um poder sobre os demais sem que houvesse a sobrepujan a e a consequente quebra da harmonia entre si Locke direcionou esta possibilidade controladora ao Poder 76 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Legislativo o que em grande parte reflete a atual forma constitutiva dos Tribunais ou das Cortes de Contas no mundo Deve se ressaltar que o voc bulo controle derivado do termo franc s contr le utilizado em 1611 sob a indica o de verificar controlar do latim medieval contrarotulus lt lat contra contra lat rotulus rolo cilindro rolo de escritos rol lista ou seja bem substancial que a forma o etimol gica do termo j em sua origem dissesse respeito aos limites contra determinada a o o que se confirmou nos controles modernos que um poder de Estado exerce sobre os demais Em vista desse exerc cio de controle os Tribunais ou as Cortes de Contas tiveram seu surgimento respaldado sobretudo gra as s novas demandas advindas da implanta o dos Estados liberais quando o relacionamento entre a sociedade e o governo passou a se pautar de forma que o Estado se configurou como mantenedor
163. e Sistema de Fiscaliza o do IBAMA Decis o 574 1999 Programa de Preven o e Controle s Queimadas e aos Inc ndios Florestais na Amaz nia Legal Prevfogo Decis o 801 2000 e Controle de Rejeitos Radioativos CNEN Decis o 527 2000 e Pro gua Semi rido Decis o 829 2001 Programa de Implanta o de Dessalinizadores no Semi rido Nordestino Decis o 243 2001 4 2 CRIA O DA SECRETARIA DE FISCALIZA O E AVALIA O DE PROGRAMAS DE GOVERNO SEPROG Estacria oveio respaldar institucionalmente a pr tica de auditorias operacionais por parte 82 Pr mio Serzedello Corr a 2003 Monografias Vencedoras do TCU que j ocorriam na d cada de 90 Foi criada pela Resolu o TCU n 140 2000 a Secretaria de Fiscaliza o e Avalia o de Programas de Governo Seprog como unidade t cnico executiva especializada subordinada Secretaria Geral de Controle Externo Segecex De acordo com a Portaria Seprog n de 25 de abril de 2001 que disp e sobre as compet ncias e as atividades da Unidade a Seprog tem por finalidade fiscalizar e avaliar os resultados de programas de Governo Ya Sua miss o contribuir para a melhoria da presta o do servi o p blico e a otimiza o do uso dos recursos por meio do planejamento da coordena o e da execu o das avalia es de programas de governo 4 2 1 OBJETIVOS DA SEPROG S o objetivos da Seprog i atender s expe
164. e ajudar na tomada de decis es Tendo em mente esses conceitos a respeito do que seja avaliar vejamos o que se entende por avaliar programas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 15 2 CONCEITOS DE PROGRAMA Antes por m de abordarmos o que significa avaliar programas um outro conceito precisa ser apreendido ainda que em r pida an lise Trata se de saber o que representa no contexto brasileiro o termo programa de governo De acordo com o conceito formulado por Piscitelli 1990 Objetivando a programa o elabora o execu o or ament ria e o controle da execu o dos planos as a es desenvolvidas direta ou indiretamente pela Uni o foram agrupadas em fun es que representam o maior n vel de agrega o atrav s das quais se procuram alcan ar os objetivos nacionais Visando a alcan ar as finalidades das fun es estas foram desdobradas em programas representando os meios e instrumentos de a es organicamente articuladas para o cumprimento das fun es Dessa forma al m dos recursos financeiros cada progra ma agrupa de forma ordenada recursos humanos materiais e institucionais pr prios sua execu o importante acrescentar que atrav s dos programas se faz a liga o entre os planos de longo e m dio prazo e os or amentos anual e plurianual que representam a institucionaliza o das a es contribuindo para a avalia
165. e aqui caso deseje ocultar o Mapa de Navega o para exibir novamente o Mapa basta clicar o bot o In cio no rodap da p gina Instru es para consulta ao sistema Digite as palavras a serem pesquisadas ou a express o de busca desejada na caixa de texto Express o para pesquisa Selecione o conjunto de bases sobre as quais ser efetuada a pesquisa Clique no bot o Pesquisar ou pressione a tecla Enter para enviar sua pesquisa ao Tela repetida a anterior FIGURA 3 RESULTADO DA PESQUISA DO ASSUNTO AVALIA O DE PROGRAMAS NO SISTEMA DE NORMAS E JURISPRUD NCIA Arquivo Editar Exibir Favoritos Ferramentas Ajuda OG OndO LS B S L Endere o http www tcu gov br Nenhum documento das bases pesquisadas satisfaz sua express o de busca Tente retirar alguns par metros informados e refa a sua pesquisa Em caso de d vida por favor entre em contato conosco pelos telefones E Sistema Telefone T Jurisprud ncia do TCU 061 316 7120 ou 061 316 7130 Consulta de Processos CAPT 061 316 7272 ou 061 316 7273 sIsac Atos de Admiss o e Concess o 061 316 7656 Tribunal de Contas da Uniao SETEC Servico de Internet Voltar In cio Email Pesquisa Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 121 5 2 2 PUBLICA ES INFORMATIVO TCU E REVISTA DO TCU Ambas as publica es t m como prop sito dar ampl
166. e controle como uma imagem refletida no espelho tendem a se tornar mais robustos e presentes nos processos de formula o e implementa o de pol ticas p blicas porque maior autonomia dos entes governamentais requer de outra parte aumento da transpar ncia e da accountability da gest o p blica As experi ncias internacionais demonstradas no texto corroboram Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 163 esse argumento As EFS s o rg os fundamentais para promover a an lise e a avalia o sistem ticas de pol ticas p blicas para que governos possam conhecer os resultados e os impactos decorrentes de suas interven es informando os aos diversos interessados Nesse contexto o estudo buscou encorajar reflex o e ao entendimento sobre modelos e estrat gias que v m sendo internacionalmente adotados por institui es centrais de controle da administra o p blica para a condu o de recentes modalidades de revis o governamental tais como auditorias de desempenho performance auditing avalia o de programas governamentais e outros controles orientados para o resultado com vistas a analisar sua aplicabilidade ao sistema de controle externo brasileiro Argumentou se que a avalia o de programas deve ser abordada por institui es de controle em seu conceito mais amplo pois devem envolver todas as fases do ciclo de pol ticas p blicas formula o design
167. e finan as p blicas em conjunto com o Departamento de Gest o Or ament ria e o Tesouro Americano O GAO formalmente independente do Congresso O Controlador Geral indicado pelo Congresso para um mandato fixo de 14 anos Os trabalhos do GAO n o sofrem limites quanto a questionar ou n o m rito de pol ticas p blicas porque a comunidade de formuladores de pol ticas p blicas da burocracia americana n o coordenada o suficiente para se opor de forma consistente a avalia es externas de seus programas pol ticas e atividades Al m disso o GAO conseguiu construir uma rela o bastante forte com o Congresso BARZELAY 1997 p 395 que permitiu menos questionamentos sobre a forma de condu o e os crit rios utilizados em trabalhos de auditoria e avalia o O GAO se tornou um rg o de assessoramento efetivo em mat ria de an lise e avalia o de pol ticas p blicas ao Congresso norte americano RIST 1990 O foco deste ensaio contribuir para a discuss o do papel do controle externo no Brasil para an lise e avalia o de pol ticas e programas p blicos Assim busca se argumentar que os ambientes pol tico e organizacional em que uma EFS estiver operando s o decisivos para se delinear quais s o os poss veis modos de revis o que ela pode adotar As escolhas estrat gicas de m todos e t cnicas de controle s o processos de transforma o em pol ticas de escolhas p blicas Nesse sentido um sistema de
168. e impactos de resultados e impactos por meio do uso estrat gico da informa o Adriana de Oliveira Beal O papel do TCU na avalia o de programas de governo em busca de um governo de resultados Marcelo Barros Gomes Pr mio Serzedello Corr a 2003 2 Programa de governo avalia o T tulo Il T tulo Avalia o de programas p blicos no Brasil o papel do Tribunal de Contas da Uni o Ill T tulo O papel do Tribunal de Contas Ficha catalogr fica elaborada pela Biblioteca Ministro Ruben Rosa APRESENTA O Tribunal de Contas da Uni o tem como miss o assegurar a regular e efetiva gest o dos recursos p blicos federais em benef cio da sociedade Essa nobre tarefa encontra se em perfeita conson ncia com a atual Constitui o Federal inovadora ao ampliar as atribui es da Corte de Contas que passou a analisar n o apenas a legalidade dos atos dos gestores p blicos mas tamb m se a aplica o dos recursos federais em seu poder est realmente atingido seus objetivos e beneficiando de forma efetiva as popula es atendidas pelos programas que financiam A avalia o dos programas de governo que atendem s mais variadas tem ticas sociais como mor talidade materna aten o terceira idade a es de reinser o social de detentos erradica o do trabalho infantil e muitas outras t m recebido cada vez mais aten o do Tribunal O trabalho enorme Para atingir a excel ncia nesta rea o
169. e na compara o entre pr ticas de servi o adotadas pelas autoridades locais pelas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 65 ger ncias de hospitais de escolas e outros Popularmente diz se que aos bem sucedidos atribui se bacon status vistoso e brilhante isto o gestor publicamente elogiado e apontado com exemplo a ser seguido incentivo correto Todavia adota se a pol tica do name and shame para os maus gestores isto eles s o nominal mente citados e expostos responsabiliza o pol tica 7 3 RESPONSABILIZA O MEDIANTE CONTROLE SOCIAL O TCU poderia pautar no todo ou em parte seu plano de fiscaliza es segundo as demandas de setores da sociedade civil organizada previamente identificados Trata se de uma medida de fortalecimento da Institui o ao identific la com as demandas sociais e com o mecanismo democr tico de participa o da sociedade Dessa forma o Tribunal assumiria uma posi o pr ativa e mobilizadora ao provocar a discuss o social sobre as reas a serem avaliadas Essa posi o mais avan ada do que a atitude passiva de destinat rio de den ncias e representa es secretamente esperan oso de que estas n o venham perturbar o ritmo rotineiro da an lise procedimental cl ssica A estrat gia de implanta o dessa alternativa deve ser bem estudada de modo que fracassos circunstanciais n o sirvam de argumento para que se a
170. e no processo de formula o de planos e de elabora o de programas e projetos e b a alta neglig ncia nas etapas de acompanhamento e avalia o de processos resultados e impactos Ainda que o TCU venha efetivamente atuando com bons resultados nas reas de avalia o de desempenho dos programas de governo deve se reconhecer a limita o de suas a es que em virtude de seu amplo leque de atua o em auditorias de conformidade e auditorias operacionais se v obrigado a atuar de modo mais restrito em busca da supera o dessas insufici ncias O ideal que todos os Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 91 programas de governo fossem analisados e aperfei oados Por m em raz o do princ pio econ mico da escassez somente em alguns isso poder ser feito Como afirmado s o feitas anualmente oito auditorias operacionais Em raz o da elevada quantidade de programas e das limita es do quadro t cnico necess ria a realiza o pelo TCU de precisa sele o dos programas nos quais ser o realizados os trabalhos de auditoria Quanto avalia o dos processos de formula o de programas de governo entendemos seja premente maior aten o a seu car ter formativo Entretanto para que possamos adotar no mbito do TCU as avalia es formativas devemos tamb m considerar o fato de que preciso se estabelecerem par metros adequados para uma rela o
171. e of Performance Auditing the Perspec tive of a United States Inspector General In Performance Auditing and the Modernization of Government Paris OECD 1996 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 41 UNITED STATES GENERAL ACCOUNTING OFFICE GAO Normas de Auditoria Governamental Revis o 1994 Tradu o e publica o do Tribunal de Contas do Estado da Bahia 1995 WESBERRY James P Princ pios de Auditoria Gubernamental In Revista Internacional de Au ditoria Gubernamental volume 4 n meros 2 e 3 abril e julho de 1977 transcrito da Revista de Control Fiscal Revista de la Contraloria General de la Rep blica de Venezuela n 83 out dez de 1976 WORLD BANK Public Sector The Critical Role of Evaluation Selected Proceedings from a World Bank Seminar Washington The World Bank 1998 ZAVELBERG Heinz G Vice Presidente da Corte Federal de Auditoria da Rep blica Federal da Alemanha Auditor a de Resultados de Programas en el contexto de la Auditoria Guberna mental In Revista Internacional de Auditoria Gubernamental volume 12 n mero 4 outubro de 1985 SOBRE OS AUTORES Artur Adolfo Cotias e Silva natural de Goi nia formado em engenharia agron mica No servi o p blico desde 1991 trabalhou como Analista de Finan as e Controle na CISET do Minist rio da Fazenda No Tribunal de Contas da Uni o desde 1994 inicilamente na 8 Secretaria hoje 2 Secex
172. e programas Ali s submeter ao mesmo processo de presta o de contas de contas com previs o id ntica de puni es o gestor corrupto e o gerente ineficiente n o parece ser a melhor solu o De certo que a corrup o gera inefici n cia mas entre o corrupto e o ineficiente existe a diferen a fundamental da inten o O primeiro age com dolo o segundo com culpa Como en sinam Busquets e Martins 1993 se a avalia o do programa revelar erro na decis o tomada cabe ao rg o de controle dar publicidade a sua ocorr ncia e acrescentando ao pensamento recomendar medidas corretivas Acrescentam as autoras que 64 Pr mio Serzedello Corr a 2003 Monografias Vencedoras em se tratando de condutas legais adotadas pelo administrador n o h o de concluir as Cortes de Contas pela neces sidade de ado o de medidas punitivas sua a o no caso ser de aprimoramento do servi o e atua o exercendo fun o pedag gica de enorme valor para a co letividade Nesse caso mais adequada se afigura a responsabiliza o pol tica do gestor Um funcion rio ineficiente negligente ou imprudente pode ser afastado como ocorreria com qualquer funcion rio na iniciativa privada principalmente no n vel de ger ncia Muito improvavelmente esse funcion rio seria cobrado pelo empregador por um d bito decorrente de uma pol tica infeliz de compras ou pela ado o de pr ticas de servi o pouco produtivas m
173. e prop sitos estabelecidos Complementando podemos mencionar a conceitua o de Harry S Havens ex assistente do Controlador Geral dos Estados Unidos que afirmou em palestra proferida em Washington D C em junho de 1996 que em sentido restrito a avalia o de programas poderia ser definida como a rigorosa aplica o de m todos cient ficos para coleta an lise e divulga o de dados sobre as conseqgii ncias de pol ticas e programas de governo J em sentido amplo segundo o autor avalia o de programas poderia ser considerada como qualquer esfor o sistem tico para reunir informa o sobre a implementa o de pol ticas e programas governamentais que possa contribuir para melhorar a economia efici ncia e efetividade das opera es governamentais Ainda de acordo com o autor de ambas as defini es emergiam dois elementos chave gt a avalia o sempre retrospectiva amparando se em dados registrados para auxiliar no trabalho prospectivo o qual denominado de an lise pol tica e gt a avalia o um processo de reuni o de informa es n o uma busca de irregularidades ou impropriedades Segundo Calmon 2000 a avalia o um dos mais importantes instrumentos de feedback capaz de contribuir para a aprendizagem organizacional uma vez que os decisores p blicos dependem dos dados da avalia o para implementar programas e aperfei oar a gest o das pol ticas governamentais
174. e relacionar os documentos por grau de relev ncia e de restringir o resultado o que poderia ser feito por exemplo com o uso da palavra health para que fossem filtrados os documentos relacionados avalia o de programas na rea da sa de 09 Pesquisa realizada com o uso da op o Full Text Search of GAO Publications dispon vel em lt http www gao gov gt Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 125 O servi o de busca do site do GAO tamb m apresenta algumas defici ncias que poderiam ser facilmente corrigidas com aten o maior forma como a informa o apresentada para o usu rio Por exemplo os resultados das pesquisas na base de dados fornecem para cada documento encontrado o t tulo e o par grafo inicial que muitas vezes n o cont m informa es relevantes para indicar ao usu rio se o documento realmente til para sua pesquisa Esse par grafo inicial que normalmente indica a data da ltima atualiza o do documento e o seu n mero de identifica o poderia ser substitu do com vantagens por uma pequena descri o do conte do do documento ou ainda por um trecho dele que mencionasse as palavras chave da pesquisa como acontece em outros mecanismos de busca dispon veis na Internet proporcionando ao usu rio a capacidade de analisar antes de abrir o documento se este efetivamente atende aos requisitos da sua consulta Mesmo assim o site do GAO demon
175. ecis o que o Tribunal em trabalhos anteriores j havia considerado como boa pr tica o uso de cart es magn ticos para o repasse de recursos a benefici rios de programas p blicos Conclus es como essa provenientes de um ou mais trabalhos de avalia o de programas poderiam originar um documento do TCU tratando exclusivamente das melhores pr ticas em distribui o de recursos para os benefici rios finais de programas sociais e mais especificamente do cart o magn tico como mecanismo de operacionaliza o dessa transfer ncia de fundos a ser encaminhado ao Congresso Nacional e aos gestores de programas que contemplem o repasse de recursos s fam lias beneficiadas 04 Cf Relat rio do Ministro Relator no processo TC 013 002 2001 0 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 117 de modo a divulgar a esses interessados os benef cios os riscos e as melhores pr ticas observadas pelo Tribunal Dessa forma as autoridades respons veis pela formula o pela implementa o e pelo controle de programas governamentais ficariam cientes de uma boa pr tica a ser incorporada no caso para a redu o da burocracia e a elimina o do atraso no recebimento de recursos pelos benefici rios de programas sociais o que n o necessariamente acontece quando a informa o apresentada dentro de um relat rio que contempla diversas outras quest es sobre os mais variados ass
176. edade O ordenamento das a es de governo por programas visa a proporcionar maior racionalidade e efici ncia administra o ampliar a visibilidade dos resultados e benef cios sociais e transpar ncia na aplica o dos recursos p blicos BRASIL 2003a Constitui se assim em instrumento que vai ao encontro do controle democr tico do Governo do princ pio da presta o de contas que favorece a responsabiliza o por resultados organiza o racional das a es de governo condi o importante mas n o suficiente para se garantir a efic cia e a efici ncia dos programas Entre outros fatores necess rio que os recursos p blicos sejam utilizados adequadamente para a obten o dos produtos finais de cada programa e dos impactos sociais desej veis A qualidade dos arranjos adotados pelo Governo para a execu o dos programas pode ser examinada mediante avalia o de programa 4 MECANISMOS DE RESPONSABILIZA O Neste cap tulo se enumeram os mecanismos de responsabiliza o e suas esp cies citando se algumas de suas limita es mais conhecidas com especial aten o para a forma de responsabiliza o na qual se insere o Tribunal de Contas da Uni o Essa apresenta o se torna necess ria para esclarecer a conex o entre os mecanismos de responsabiliza o e o modo pelo qual a a o do TCU pode ser fortalecida mediante a intera o com os demais mecanismos O Conselho Latino americano de A
177. egativos sobre pol ticas e programas de governo t m um componente essencialmente pol tico e portanto requerem extremo cuidado em sua condu o Em segundo lugar nem sempre h coincid ncia de prioridades entre o Senado Federal e a C mara dos Deputados assim como entre o Congresso Nacional e o Presidente da Rep blica o que faz que quaisquer que sejam as conclus es n o importa qu o bem fundamentadas estejam elas haja sempre partes satisfeitas e outras que acusar o o trabalho de insuficiente impreciso ou inver dico desmerecendo seu conte do Cabe mencionar finalmente que os problemas decorrentes da implementa o da avalia o de programas n o est o completamente identificados ao contr rio v m sendo revelados paulatinamente medida que a pr pria t cnica vai se desenvolvendo e evoluindo Il EVOLU O HIST RICA DA AVALIA O DE PROGRAMAS Este cap tulo apresentar de modo sucinto a evolu o da avalia o de programas p blicos nos principais pa ses do mundo e no Brasil analisando seu relacionamento com as EFS e com o Tribunal de Contas da Uni o 1 A AVALIA O DE PROGRAMAS NO MUNDO A avalia o de programas surgiu no s culo XX a partir dos anos 30 mas s experimentou um primeiro grande impulso no per odo p s guerra a partir dos anos 50 com a incorpora o de metodologias quantitativas mais sofisticadas com o desenvolvimento de m todos estat sticos e de pesquisa ap
178. egundo Cotta 1997 quando unidade realiza a a pr pria gestora investiga o minimiza se o conflito e aumenta se a quantidade de informa o por m em contrapartida perde se muito em objetividade Quando se recorre a profissionais n o vinculados institui o executora ganha se em capacidade t cnica mas o acesso aos dados se torna mais dif cil A avalia o mista como o pr prio nome sugere consiste segundo Cohen amp Franco 1994 na combina o dos tipos mencionados fazendo que os avaliadores externos realizem seu trabalho em estreito contato e com a participa o dos membros do projeto 5 OBJETIVOS DA AVALIA O DE PROGRAMAS De sua pr pria conceitua o como tipo de auditoria direcionada an lise dos resultados de um programa e otimiza o dos recursos envolvidos a avalia o de programas revela um objetivo intr nseco inerente aprimorar o pr prio programa que est sendo avaliado Todavia ela n o se restringe apenas ao programa avaliado Pode tamb m fornecer subs dios para avaliar o impacto do programa no meio em que implementado Ademais o car ter retrospectivo da avalia o fornece dados para estimar os futuros efeitos e os custos do programa sob exame assim como de outros programas a serem avaliados Avaliar a efetividade de programas para atingir seus objetivos essencial componente de boa t cnica administrativa resultando em elemento indispens vel para a tomad
179. eito da import ncia de ainda hoje existe a dificuldade de se instalar uma cultura de avalia o uma vez que a a constru o de sistemas de monitoramento e avalia o requer o emprego maci o de recursos f sicos materiais financeiros tecnol gicos e humanos escassos principalmente nos pa ses em desenvolvimento b o pr prio receio quanto aos resultados de uma avalia o desfavor vel acaba por dificultar a implanta o de uma cultura de avalia o No que diz respeito ao impacto da avalia o Calmon 2000 entende que possa ser afetado pelos seguintes fatores credibilidade da metodol gico na a validade e metodologia rigor condu o dos trabalhos fidedignidade dos dados e formato da conclus o b credibilidade do avaliador em termos de experi ncia forma o te rica e postura tica Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 21 c relev ncia dos estudos para os membros da organiza o ou do programa avaliado d grau de dissemina o dos resultados aos decisores aos membros da organiza o ou do programa ou a outros interessados e grau de participa o dos membros da organiza o ou do programa avaliado nos trabalhos de avalia o No entendimento de Harry S Havens op cit h ainda alguns problemas a serem enfrentados pelos avaliadores de programas O primeiro deles intr nseco diz respeito coleta de dados Neste particul
180. eloiza Machado de Souza Diretora Ementa Auditoria de natureza opera cional Recomenda es Determina o Juntada de c pia do relat rio de auditoria ao processo que trata da Pol tica Nacional de Medicamentos e remessa aos rg os e entidades competentes Convers o dos autos em acompanhamento para que a 4 Secex monitore a implementa o das re comenda es Em outros processos como no abaixo julgado na mesma Sess o de 19 6 2002 a classifica o feita usando se a express o Relat rio de Auditoria Operacional GRUPO CLASSE V Plen rio TC 012 854 2001 6 Natureza Relat rio de Auditoria Opera cional rg o Entidade Secretaria de Educa o Fundamental SEF e Fundo Nacional de Desenvolvimento da Educa o FNDE Respons veis lara Gl ria Areias Prado Secret ria da SEF e M nica Messenberg Secret ria Executiva do FNDE Ementa Relat rio de Auditoria Opera cional Programa Nacional Biblioteca da Escola PNBE Inexist ncia de intera o com outros programas federais Pouca articula o dos n veis federal estadual e municipal de governo na pol tica de educa o para utiliza o de livros paradid ticos Reduzidas condi es operacionais de al gumas escolas para lidar com os acervos Falta de capacita o dos professores De fici ncia no monitoramento do programa Recomenda es e determina es Juntada s contas Esse tipo de discrep ncia na classifica o da na
181. em no entanto desconsiderar a execu o de trabalhos de auditoria operacionais nos atuais moldes e PROPOSTA II Que o TCU seguindo a Proposta ajuste a metodologia dos estudos de viabilidade feitos pelo Tribunal Seprog para que as auditorias a serem realizadas abarquem de forma t cnica homog nea e proporcional os chamados programas estrat gicos aqui 18 BARROS SILVA Pedro Lu s Relat rio do IPEA reclassificados ainda em seus aspectos formativos 8 IMPLEMENTA O DA PROPOSTA I Embora a atual sistem tica adotada pelo TCU tenha se mostrado bastante eficiente em seus fins nossa op o pelo tipo formativo nas avalia es de pol ticas p blicas decorre da premissa de que controles pr vios em pol ticas podem se mostrar mais eficientes no conceito de economicidade uma vez que tais tipos de auditoria tencionam corre es pr vias Ao priorizar a adequa o das formula es de pol ticas sem no entanto intervir na g nese das id ias do Governo estaremos adequando essa nova e clara evolu o do Estado ao trato da res p blica Os programas adotados no Brasil ainda padecem atuais sistemas de avalia o de de padroniza o Para Barros e Silva 2002 p 35 a experi ncia brasileira nesse setor ampla e diversificada mas considerada ainda insuficiente e insatisfat ria Segundo o autor isso se deve a duas caracter sticas dominantes no planejamento governamental do Pa s a a nfas
182. emente o mais r pido poss vel a solu o para a contrata o dos monitores de modo a tornar o ato legal constante do item 8 1 9 da Decis o em an lise tem valor muito maior para as inst ncias de governo diretamente respons veis pela legalidade dos atos de contrata o de pessoal do que para outros p blicos mais preocupados com a efetividade do programa e com a sua equidade e a sua sustentabilidade tais como os representantes da sociedade encarregados de fiscalizar a execu o do Programa Ainda que a iniciativa de encaminhar c pia de elementos dos autos aos titulares de rg os e entidades interessados no resultado das a es de controle seja relevante e til para o aprimoramento dos programas p blicos o Tribunal poderia ampliar sensivelmente o uso das informa es coletadas e analisadas caso ofertasse al m de simples c pias de partes do processo resumos executivos das conclus es do trabalho de auditoria abrangendo t picos espec ficos selecionados de modo a atender a uma necessidade informacional de determinado p blico alvo Tome se por exemplo a determina o constante do item 8 1 12 agilize a operacionaliza o do repasse de recursos diretamente aos benefici rios por meio de cart es magn ticos a exemplo de experi ncias bem sucedidas realizadas em programas de governo de outras reas como o Bolsa Escola e o Bolsa Renda poss vel concluir da leitura desse trecho da D
183. enciamento de recursos no exerc cio atual diversidade e heterogeneidade dos produtos do programa gt Exist ncia de meios de oferta de den ncias e controle social gt Exist ncia de oferta de capacita o de RH gt Amea as externas ao funcionamento do programa e ocorr ncia de erros e fraudes C MATERIALIDADE A materialidade de um programa considerada maior de acordo com os valores financeiros despendidos Assim quanto maior forem os valores envolvidos o programa ser considerado de maior materialidade No caso dos programas descentralizados deve se buscar estratificar considerando se o or amento por fun o 9 5 2 PROGRAMAS INSTITUCIONAIS A RELEV NCIA QUADRO 5 Quantitativos Qualitativos a Demanda potencial IBGE Censo a Prioridade do Governo est na Agenda b Popula o beneficiada b Est como priorit rio na LDO c Alcance do Programa b a de popula o c Discuss es nas comiss es tem ticas do CN atendida d Acompanhamento na M dia classifica o por assunto d Metas f sicas e Consulta aos stakeholders aos munic pios s ONGs aos e Execu o de metas f sicas b d consultores aos especialistas para identificar programas ou temas relevantes para coletar as demais informa es b sicas e de risco e para realizar pesquisa postal e f Conex o com temas de redu o das desigualdades sociais e combate pobreza e promo o da eq idade e do
184. enta o de pol ticas p blicas porquanto maior autonomia dos entes governamentais requer de outra parte aumento da transpar ncia e accountability da 0l Entidade de Fiscaliza o Superior o nome pelo qual as institui es respons veis pela condu o de trabalhos de controle externo de burocracias do setor p blico s o reconhecidos internacionalmente O Tribunal de Contas da Uni o TCU do Brasil O National Audit Office NAO brit nico a Cour des Comptes da Fran a e o General Accounting Office GAO norte americano s o exemplos de EFS 02 Transpar ncia implica fornecer ao sistema seguran a razo vel de que pessoas e institui es respons veis pela gest o p blica tomar o as decis es corretas pois existe uma rede de interessados que estar o acompanhando suas decis es O papel do controle externo exercido pelas EFS nesse sentido fornecer informa es relevantes confi veis numa linguagem que atenda aos diversos p blicos alvo envolvidos em determinada pol tica p blica 03 Accountability n o existe na l ngua portuguesa uma palavra que reflita o sentido pleno dessa express o que consiste na obriga o de responder por uma responsabilidade outorgada Pressup e a exist ncia de pelo menos duas partes uma que delega a responsabilidade e outra que a aceita com o compromisso de prestar contas da forma como usou essa responsabi lidade Conforme analisaremos neste Estudo o sistema de accountab
185. ento A Constitui o e a Lei de Responsabilidade Fiscal exigem que o PPA abranja todos os gastos p blicos mas n o prev em em detalhes como deve ater se ao or amento Banco Mundial 2002 Esse talvez seja o principal ponto em que as avalia es realizadas pelo TCU possam perder a efic cia pois uma vez que n o existe liga o clara entre o desempenho dos programas e a aloca o de recursos or ament rios n o haver incentivos para que os gestores melhorem sua efici ncia alocativa bem como se empenhem para alcan ar a efetividade do programa Em seu formato atual o PPA visto como um ve culo importante para melhorar as aloca es de recursos em termos de 28 prioridades governamentais ou macrobjetivos observado tamb m como um ve culo para orienta o voltada ao melhor desempenho do Setor P blico Estabelece os objetivos e as metas de 388 programas que incluem tanto as despesas correntes como os gastos com investimentos Assim o PPA criou programas que se relacionam aos objetivos do Governo cujo desempenho pode ser avaliado pelo uso de v rios indicadores estabelecendo desse modo a base para a responsabilidade pela performance Assim cabe ao TCU promover trabalhos de avalia o desse sistema com base nos novos crit rios de auditoria de desempenho e avalia o que v m sendo verificados nas pr ticas das EFS conforme descrito neste trabalho De acordo com recente avalia o do Banco 146 Pr
186. er mal recebidas por pol ticos autoridades ou 20 Pr mio Serzedello Corr a 2003 Monografias Vencedoras outras entidades p blicas envolvidas Esse aspecto pode ganhar relev ncia segundo o autor em virtude de que as tradi es firmemente estabelecidas e a avers o inova o que se observa algumas vezes no Poder Executivo podem representar outros obst culos efetividade das avalia es de programas Em segundo lugar pode ser dif cil e at imposs vel determinar o alcance das metas por meio de indicadores num ricos financeiros As metas secund rias que nem sempre s o analisadas tamb m merecem aten o porque podem envolver grandes gastos E finalmente a necessidade e a dificuldade de determinar os efeitos secund rios por exemplo o impacto de um subs dio concedido a uma empresa em uma regi o espec fica sobre a situa o de emprego nas regi es vizinhas Ou ainda o impacto causado por um determinado programa sobre uma regi o e os reflexos sobre as situa es an logas existentes no resto do Pa s A respeito do ambiente pol tico um cuidado especial requerido para evitar que a inger ncia do controle venha a se opor a decis es pol ticas contrapondo se s necessidades do Congresso que exerce o controle pol tico levando ao fracasso das iniciativas nesse campo Segundo o Banco Mundial WORLD BANK 1998 os seguintes problemas s o comuns em pa ses em desenvolvimento que decidem pela i
187. ernment Patterns amp Prospects across Eight Nations London Transaction Publishers 1990 SHAND David amp ANAND Paul Performance Auditing in the Public Sector approaches and issues in OECD member countries In Performance Auditing and the Modernization of Gov ernment Paris OECD 1996 SILVA C S Medidas e Avalia o em Educa o Petr polis RJ Vozes 1992 SLOAN Nick The Objectives and Performance Measurement of Performance Audit In Per formance Auditing and the Modernization of Government Paris OECD 1996 40 Pr mio Serzedello Corr a 2003 Monografias Vencedoras SPECK Bruno Wilhelm nova o e rotina no Tribunal de Contas da Uni o o papel da institui o superior de controle financeiro no sistema pol tico administrativo do Brasil S o Paulo Funda o Konrad Adenauer 2000 STAATS Elmer B Auditoria Gubernamental ayer hoy y ma ana Resumo de discurso proferido na primeira reuni o nacional e regional de auditores governamentais ocorrida em janeiro de 1976 In Revista LatinoAmerica Control 2 trimestre de 1977 Auditoria Gubernamental Una visi n internacional Adaptado do discurso proferido na Confer ncia Centen ria do AuditorGeral do Canad em dezembro de 1978 In Revista Interna cional de Auditoria Gubernamental volume 6 n mero 2 de abril de 1979 TALBOT Colin DAUNTON Lyn amp MORGAN Colin A mensura o do desempenho de minist rios e ag ncias de governo evolu es inter
188. ervi os p blicos e ampliar o grau de participa o popular nas decis es de interesse da sociedade Autores como Sato 1997 Pimenta 1998 e Eisenberg 2001 t m salientado a import ncia da Internet para a democratiza o da informa o a amplia o dos espa os de exerc cio da cidadania e o aumento da participa o da sociedade no controle da aplica o dos recursos p blicos Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 119 Cresce a cada dia o n mero de usu rios os servi os dispon veis e os pontos gratuitos de acesso Internet abrigados em institui es p blicas ou comunit rias O Programa Governo Eletr nico criado para ampliar o acesso a servi os pelo cidad o e melhorar a transpar ncia e o controle social sobre as a es de governo entre outras finalidades Brasil 2000 um exemplo de como o potencial da Internet pode ser explorado como instrumento de democratiza o da gest o p blica Em virtude do reconhecimento hoje da Internet como um dos meios mais eficazes para a dissemina o da informa o procedeu se a uma an lise dos recursos informacionais disponibilizados pelo Tribunal em seu site na Internet para ilustrar as dificuldades enfrentadas pelos usu rios externos na obten o de acesso s informa es sobre avalia o de programas produzidas pelo TCU 5 2 1 SISTEMA DE NORMAS E JURISPRUD NCIA As p ginas do TCU na Internet permitem a realiza
189. es diretos ou indiretos intencionais ou n o de determinado programa A an lise desses efeitos deve ser tal que permita compara o entre o que teria sido produzido sem o programa e o que foi produzido como resultado da sua implementa o De acordo com a National Academy of Public Administration NAPA 1994 o escopo da avalia o de programas desenvolvida pelo GAO tem crescido consideravelmente desde a edi o das Normas de Auditoria Governamental Yellow Book nos anos 70 e 80 Naquelas normas est o elencados como objetivos da auditoria de programas desdobramento da auditoria de otimiza o de recursos entre outros 7 avaliar se os objetivos de um programa proposto novo ou em execu o s o apropriados convenientes ou relevantes n determinar em que medida um programa alcan a um n vel desejado de resultados avaliar a efic cia de um programa ou de componentes individuais deste programa ou ambos e m determinar se o programa complementa sobrep e se ou conflita com outros programas correlatos No entender de Harry S Havens ex assistente do Controlador Geral dos Estados Unidos o papel da avalia o de programas n fornecer informa o confi vel segura acerca de situa o corrente testar conhecimentos convencionais n confirmar ou refutar evid ncias e n servir de base para a tomada de decis es sobre programas e pol ticas de governo auxiliando na ado o de alterna
190. evista n 89 Jul Set Revista n 88 Abr Jun Revista n 87 Jan Mar 2000 Revista n 86 Out Dez Revista n 85 Jul Set Revista n 84 Abr Jun Revista n 83 Jan Mar 1999 Revista n 82 Out Dez Revista n 81 Jul Set internet O leitor em busca de conhecer aspectos espec ficos da atua o do TCU por exemplo sobre programas p blicos na rea da educa o precisaria vasculhar por conta pr pria cada uma das edi es das revistas procura de artigos de interesse A Revista do TCU oferece como op o de localiza o o ndice Geral Cumulativo que embora seja apresentado como ferramenta extremamente til para a recupera o de informa es quer seja por assunto ou autor 8 deixa muito a desejar por dois motivos a defasagem em rela o produ o mais recente do peri dico em julho de 2003 o ndice somente alcan ava as edi es at dezembro de 2000 e o fato de que a ferramenta deixa de explorar um dos recursos b sicos mais valiosos trazidos pela Internet o hipertexto Em contraste com uma apresenta o 07 Cf site do TCU dispon vel em lt http www tcu gov br gt acesso em 30 6 2003 08 Cf lt http www tcu gov br isc sedip Revista Indices html gt Acesso em 30 6 2003 122 Pr mio Serzedello Corr a 2003 Monografias Vencedoras est tica ou em papel o hipertexto por meio dos chamados hiperlinks ou links prov um m todo n o linear e n o sequencial de apresenta o d
191. fica o do cumprimento de prioridades do atingimento de metas a repress o inefici ncia desperd cio e mais al m a explicita o dos riscos da a o estatal e das poss veis alternativas Naturalmente essa atua o do controle exige m todos mais aproximados aos das consultorias administrativas visando a melhorar a efici ncia da m quina estatal e fornecer elementos para que o Congresso Nacional titular do controle externo exer a adequadamente sua fun o no mbito de seu mandato pol tico Assim para dar cumprimento aos objetivos mencionados as avalia es de programa conduzidas pelo TCU devem buscar conhecer mediante aplica o de t cnicas de diagn stico a maneira pela qual as a es governamentais s o implementadas identificar insumos produtos intermedi rios e finais e aferir o impacto gerado pela interven o p blica Devem ser aplicadas ainda t cnicas utilizadas em pesquisas ci ncias sociais nas como entrevistas em profundidade grupo focal Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 63 pesquisa probabil stica e an lise de conte do com o objetivo de investigar a adequa o da a o de governo s necessidades sociais Com a utiliza o desses instrumentos torna se poss vel o exame dos aspectos relativos economicidade efici ncia e legitimidade A inser o do TCU na responsabiliza o por resultados j possui base normativa e ju
192. foi chefe de gabinete do ministro Adhemar Paladini Ghisi de agosto de 1996 a mar o de 2001 e desde julho de 2001 assessor do Ministro Humberto Guimar es Souto Em 1996 participou do curso Executive Development Program in Performance Management oferecido pela Virginia Polytechnic Institute and State University em conv nio com a Funda o Get lio Vargas e a National Academy of Public Administration de Washington EUA Em 1998 frequentou o curso de Avalia o de Pol ticas P blicas da Universidade Federal do Rio de Janeiro UFRJ No ano de 1998 obteve o primeiro lugar no concurso nacional de monografias Pr mio Serzedello Corr a vers o 1998 com trabalho versando sobre a Hist ria do Tribunal de Contas da Uni o intitulado O Tribunal de Contas da Uni o na Hist ria do Brasil evolu o hist rica pol tica e administrativa 1890 1998 No ano seguinte 1999 conquistou tamb m o primeiro lugar no concurso de monografias Pr mio Rui Barbosa 1999 institu do pelo TCU em comemora o ao sesquicenten rio de nascimento de Rui Barbosa com trabalho intitulado Rui Barbosa e as finan as p blicas brasileiras No ano de 2000 alcan ou o primeiro lugar no concurso institu do pelo Governo do Estado da Bahia por interm dio da Secretaria da Cultura e Turismo denominado Pr mio Nacional Rui Barbosa com trabalho intitulado O parlamentar Rui Barbosa atualidade de sua palavra Carlos Alberto Sampaio d
193. governamentais BARZELAY 1997 p 398 Alguns relat rios de auditoria do NAO que tentaram questionar pol ticas p blicas governamentais sofreram cr ticas rduas dos mandarins de Whitehall Governo Brit nico No come o dos anos 90 alguns relat rios a exemplo do caso sobre a venda do Rover Group levantaram quest es sobre o m rito de pol ticas p blicas de privatiza o Alarmados com esse desenvolvimento v rios secret rios permanentes de governo emitiram notas 22 Esse argumento considerando frequentemente para pa ses que transformaram suas burocracias para uma mentalidade mais gerencial Entretanto outros pa ses legalistas como Alemanha e Fran a tamb m v m adotando essa perspectiva 158 Pr mio Serzedello Corr a 2003 Monografias Vencedoras alertando que o N O estava entrando em assuntos de discuss o pol tica e se tornando um rg o mais pol tico do que t cnico THE INDEPENDENT 4 fev 1991 apud GLYNN et al 1992 p 56 O pensamento dominante entre os formuladores de pol ticas no Reino Unido que se os auditores do NAO desafiarem a qualidade de pol ticas p blicas decorrentes de discuss es democr ticas os departamentos de governo podem justificadamente questionar a legitimidade do rg o controlador Contudo esses desafios podem passar despercebidos se os departamentos simplesmente prevenirem se de intrus es inconvenientes Ibid Apesar da ret rica trabalhista de transpar
194. gramas por uma entidade com reconhecida independ ncia no caso a EFS especialmente necess ria no caso da exist ncia de um sistema de institucionalizado na metas administra o 32 Pr mio Serzedello Corr a 2003 Monografias Vencedoras p blica prevendo grandes incentivos para a apresenta o de resultados favor veis A Ya accountability neste caso garantida por interm dio de um processo que se assemelha ao da certifica o A EFS da Su cia que se localiza no Minist rio da Fazenda respons vel pela auditoria de qualquer informa o de desempenho que uma ag ncia possa vir a publicar em seus relat rios anuais TALBOT et al 2001 Na Nova Zel ndia o Office of the Controller and Auditor General OAG o respons vel pela comprova o da integridade das informa es prestadas pelos minist rios no mbito dos contratos de gest o a que est o submetidos TALBOT et al 2001 amp Cardoso 2001 observam que os melhores resultados t m sido Santos registrados quando um rg o poderoso ou influente como minist rios de planejamento ou finan as ou os national audit offices assumem esse papel obviamente se referindo os autores s EFS Essa abordagem estrat gica acarreta maior press o pol tica sobre a EFS especialmente se houver implica es or ament rias para os programas no caso de desempenho fraco Entretanto importa observar que a despeito de seu potencial e
195. guinte aplicada a matriz de risco para os vinte programas selecionado se cerca de dez melhores pontuados nos quais s o realizados os estudos de viabilidade Para sanar quaisquer problemas de escolhas indevidas de programas prop e se a elabora o de m todo de sele o de auditorias que propicie a escolha de programas de maneira objetiva abrangendo as reas de interesse do Governo e as da sociedade e que ofere a maior risco em sua execu o 23 Conforme Memorando de Projeto Aperfei oamento do Controle Externo com Foco na Redu o da Desigualdade Social Cerds TCU Fase II de setembro de 2002 24 Segundo a conceitua o utilizada pelo TCU Matriz de Risco uma ferramenta de diagn stico til para a formula o de problemas de auditorias que permite o exame do processo de gerenciamento de riscos dos programas e dos projetos a serem auditados Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 97 9 2 PROPORCIONALIDADE DAS AUDITORIAS Ao priorizarmos o crit rio formativo para as avalia es de programas do Tribunal propomos tamb m que tais auditorias obede am a crit rios que possam indicar perfeita homogeneiza o e proporcionalidade entre programas e reas de forma que haja isonomia entre as reas priorit rias para que n o se possa correr o risco de prefer ncia por determinadas reas Este procedimento dever ser adotado quando da sele o dos programas a sere
196. hores pr ticas de gest o b o Congresso Nacional ao qual o Tribunal auxilia no exerc cio da fun o de controle externo c o controle interno para o qual as informa es provenientes do TCU podem servir como importante subs dio para a orienta o do trabalho a ser realizado no sentido da melhor integra o entre as atividades de fiscaliza o e a maximiza o dos seus resultados d os cidad os que medida que se tornam mais informados e conscientes da a o de controle podem ampliar sua participa o nas decis es a respeito da formula o de pol ticas e na defini o do gasto p blico Em pesquisa denominada Tend ncias de Controle da Gest o P blica institu da por delibera o do Plen rio do TCU na sess o de 30 9 98 foram coletadas v rias evid ncias de que grande parte da informa o coletada criada e tratada no mbito do TCU n o tem seu valor percebido pelos p blicos a que se destina TCU 1999 a baixa fregii ncia do uso de informa es produzidas pelo TCU pelos parlamentares Entre os pesquisados 6 5 utilizavam frequentemente as informa es do TCU en quanto 93 5 restantes nunca as utilizavam ou delas faziam uso rara ou eventualmente Dentre aqueles com uso frequente ou even tual o maior interesse estava relacionado a informa es sobre aposentadorias e pens es 68 2 frente dos relat rios de auditoria 52 2 e do pronunciamento do TCU sobre consu
197. i i A nd I 1 j REONE L gt Fonte Pesquisa e elabora o do autor 110 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Nesse modelo que oferece uma vis o sist mica da a o governamental os recursos p blicos s o utilizados como insumos de um processo a fim de gerar produtos resultados das a es e impactos efeitos sobre a sociedade Note se que na figura a seta que faz a liga o entre produtos e impactos n o apresenta a mesma nitidez que a usada para conectar recursos a processos e produtos essa diferen a tem o prop sito de evidenciar a dificuldade de se estabelecer uma rela o clara e inequ voca de causalidade entre efeitos observados e a es desenvolvidas Quando a auditoria visa a verificar a efici ncia operativa e o grau de cumprimento de metas comparando a produ o prevista com a realizada trata se de uma auditoria de desempenho operacional seu foco estar no processo e nos seus insumos e nos seus produtos e portanto na efic cia e na efici ncia do programa j quando o objetivo consiste em apurar o impacto das a es em que medida estas conseguiram produzir os efeitos pretendidos pela administra o tem se uma avalia o de programa o foco est na efetividade da interven o governamental Desse modo para se apurar se um programa de saneamento b sico est atingindo as metas propostas que poderiam ser por exemplo percentuais de amplia o
198. iais voltados para o combate pobreza e exclus o social e para a redu o das diferen as observadas nas condi es de sa de e educa o da popula o 2 AVALIA O DE PROGRAMAS NO CON TEXTO DO CONTROLE DA ADMINISTRA O P BLICA BRASILEIRA O controle integra o conjunto das fun es administrativas cl ssicas que contemplam ainda o planejamento a organiza o e a dire o atividades que est o presentes no trabalho dos administradores em qualquer tipo de organiza o De acordo com Chiavenato 1993 o controle como fun o administrativa consiste na defini o de padr es para medir desempenho corrigir desvios ou discrep ncias e garantir que o planejamento seja realizado Se em qualquer processo produtivo o controle parte integrante e essencial no caso da administra o p blica cuja complexidade das inter rela es das atividades dos produtos e das demandas cresce a cada dia exercer a fun o de controle nos seus mais diversos n veis e esferas de fundamental import ncia para assegurar que mediante a realimenta o do sistema os resultados daquilo que foi organizado e dirigido se ajustem tanto quanto poss vel aquilo que foi planejado A palavra avalia o em sentido mais amplo diz respeito atribui o de valor a algo Segundo Aguilar e Ander Egg 1995 a avalia o pode ser entendida como o uso de procedimentos apoiados em m todos cient ficos para identificar obter e proporci
199. ica a cargo de ag ncias independentes que assumem tamb m uma fun o reguladora dos servi os p blicos 5 RESPONSABILIZA O POR RESULTADOS COMO DIMENS O DO CONTROLE EXTERNO N o obstante a convincente argumenta o fornecida pela Nova Gest o P blica NGP a favor do fortalecimento do controle de resultados com base na ci ncia pol tica na economia pol tica e na administra o seria ing nuo supor que essa linha de racioc nio seria suficiente para alterar pr ticas solidamente institucionalizadas No Brasil cujo paradigma de Direito Administrativo deve se acrescentar o argumento jur dico ao debate para que se suavizem resist ncias contra a incurs o do Tribunal de Contas da Uni o TCU no terreno perigosamente pr ximo da pol tica representado pelo exame do m rito do ato administrativo e por extens o da condu o de pol ticas p blicas Segundo Figueiredo ato 2001 administrativo 56 Pr mio Serzedello Corr a 2003 Monografias Vencedoras a norma concreta emanada pelo Es tado ou por quem esteja no exerc cio da fun o administrativa que tem por finalidade criar modificar extinguir ou declarar rela es jur dicas entre este o Estado e o administrado suscet vel de ser contrastada pelo Poder Judici rio N o obstante as diverg ncias terminol gicas apresentadas pelos autores a nica lei no Direito brasileiro que enumera e conceitua os elementos do ato administrativo
200. ica da auditoria de desempenho pelas EFS Percebe se que o pano de fundo dessa discuss o uma disputa no mbito do setor p blico entre a acad micos e profissionais ligados avalia o de programas e b a comunidade de profissionais ligados auditoria e membros das EFS todos buscando legitimidade para suas posi es Segundo a INTOSAI 2001 que possui um grupo de trabalho espec fico para a avalia o de programas INTOSAI Working Group on Programme Evaluation as classifica es entre os dois g neros de atividades variam de acordo com a EFS Assim algumas EFS executam avalia es de programas sob o r tulo de auditorias de desempenho enquanto outras as definem como uma atividade espec fica s o De qualquer forma como n o apontadas diferen as significativas na ess ncia das duas atividades podemos considerar para efeito deste trabalho que a avalia o de programas constitui no mbito das EFS um tipo especial de auditoria de desempenho voltado ao exame dos programas p blicos 2 POR QUE AS EFS DEVEM REALIZAR AVALIA O DE PROGRAMAS P BLICOS Para que se analise qual o papel de uma EFS quando anteposta diante da miss o de avaliar 4 programas p blicos preciso investigar o resultado que advir dos esfor os despendidos na execu o de trabalhos dessa natureza Para alcan ar a resposta a essa investiga o utilizaremos o modelo de Moore 1998 de cria o de valor p blic
201. ico bastante limitada no Brasil Com grande resist ncia de setores da sociedade inclusive da coaliz o que venceu a mais recente disputa pela Presid ncia da Rep blica implantou se um sistema que estimula ou simula a competi o entre provedores de servi os estatais p blicos n o estatais e privados em reas espec ficas de mercado Ag ncias p blicas independentes regulam os sistemas e aplicam recompensas e puni es conforme os resultados apresentados e o estabelecido em contratos Exemplos desse arranjo s o os setores de telefonia e o setor el trico O processo de privatiza o e de indu o da concorr ncia surgido no Brasil acompanhado do processo de agencifica o foi reconhecido pelo TCU com a edi o de normas de fiscaliza o para esses setores e com a cria o de uma unidade t cnica executiva especializada em desestatiza o e regula o O retorno positivo que o Tribunal vem 66 Pr mio Serzedello Corr a 2003 Monografias Vencedoras recebendo da sociedade com rela o a sua atua o nessas duas reas indica que a estrat gia de a o em vigor correta No entanto repetindo alguns dos pontos levantados parece claro que existem oportunidades de melhoria no que se refere ao relacionamento com atores sociais envolvidos nessas reas principalmente organiza es de usu rios bem como de relacionamento mais estreito com o Congresso Nacional estimulando o debate pol tico em torno da formula
202. icos e qual sua relev ncia para a sociedade b a avalia o de programas no contexto do controle da Administra o P blica brasileira c aimportancia da avalia o de programas pelo controle externo d as potencialidades inexploradas do uso da informa o proveniente da avalia o de programas no mbito do Tribunal de Contas da Uni o e os pontos fracos dos processos de dissemina o da informa o sobre as a es de avalia o de programas desenvolvidas pelo TCU f as propostas para aprimoramento da gest o da informa o sobre avalia o de programas no mbito do TCU Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 107 O estudo encerrado com um resumo das medidas propostas para o aprimoramento da gest o da informa o sobre an lise de programas oriunda do Tribunal bem como dos benef cios esperados da implementa o dessas medidas tendo em vista o pleno aproveitamento das potencialidades dos recursos informativos produzidos pela Corte de Contas nessas a es de controle do desempenho da Administra o P blica 1 PROGRAMAS P BLICOS E SUA RELEV N CIA PARA A SOCIEDADE Segundo o Manual de Auditoria de Natureza Operacional do TCU programa o conjunto de a es de iniciativa governamental que concorrem para um objetivo comum preestabelecido visando solu o de um problema ou o atendimento de necessidade ou demanda da sociedade
203. ida De muitos Oxbridge recrutados ao sair da universidade poucos ir o atingir esse status Uma vez alcan ado o topo existe um processo de insulamento de outras camadas do Servi o P blico notadamente as de implementa o ibid 143 um erro pensar que f cil medir os poderes relativos entre ministros servidores p blicos e grupos de press o no processo de formula o de pol ticas p blicas na Inglaterra DOWDING 1995 p 122 Entretanto salta aos olhos que no sistema de Whitehall a coes o da comunidade do topo do Servi o P blico evita a interfer ncia externa no processo de formula o de pol ticas Os auditores do National Audit Office s o estranhos a essa vila de mandarins portanto n o s o autorizados a expressar opini es em quest es de conte do de pol ticas p blicas De fato eles se eximem de tal exposi o Diferentemente da P blica fragmentada tanto na esfera pol tica quanto Gr Bretanha a Administra o norte americana na burocr tica Existe um design confuso de divis o de poderes no processo de formula o de pol ticas p blicas naquele Pa s A geometria do processo de formula o de pol ticas em Washington bastante complexa e metaforicamente classificada como tri ngulo de ferro No seio dessa geometria grupos de interesses comit s e subcomit s do Congresso articulam se e burocracias do Executivo simbioticamente controlando segmentos 23 Seten
204. idamente a evolu o da doutrina sobre o papel das EFS o conceito de avalia o de programas vinculando o auditoria de desempenho Isso daria mais espa o para sua atua o pois existem condi es pol ticas organizacionais gerenciais e metodol gicas que permitem adotar um arcabou o metodol gico de auditoria de desempenho como s ntese das escolas de an lise de pol ticas p blicas com a escola tradicional de avalia o de programas acrescido tamb m do conhecimento de auditoria de que os rg os de controle j disp em 6 Existem condi es pol ticas organizacionais e de gest o p blica que permitem EFS brasileira servir como verdadeiro rg o de assessoramento em mat ria de pol ticas p blicas primeiramente ao Congresso Nacional mas tamb m ao Poder Executivo por interm dio de recomenda es decorrentes de sua interven o buscando maior aproxima o com esses Poderes sem perda da independ ncia 7 O TCU deve promover maior visibilidade de seu trabalho inclusive desenvolvendo estrat gias de divulga o da Institui o mais apropriadas especialmente sobre seus processos e seus achados de controle demonstrando sua vis o do bom funcionamento governamental notadamente sobre os programas do PPA e as atividades fundamentais do Estado Notou se que an lises realizadas no PPA por importantes atores como o Banco Mundial e o pr prio IPEA n o citam o TCU como leg timo ator na avalia o e n
205. ilidade de continuidade de seu eficiente trabalho de realiza o de auditorias dos tipos monitoramento e somativa Este tipo de requerimento certamente dever contar com instrumentos que estejam al m da al ada t cnica sejam eles pol ticos e de di logo entre as inst ncias legislativas e 20 BARROS SILVA Pedro Lu s op cit 21 ibidem executivas de nosso Pa s Por m como j o vimos o recente exemplo da requisi o pelo ministro Jos Graziano nos serve de est mulo para a evolu o aqui requerida Em nosso caso buscamos expor nova adequa o para esses novos tipos de avalia o Essa requisi o entendemos pode ser bem respaldada pelo exemplo da requisi o pelo ministro Jos Graziano para que o TCU ajudasse na melhoria da implementa o do Programa Fome Zero Esse tipo de di logo reflete a necessidade de que os formuladores de pol ticas p blicas possam contar com an lises precisas que lhes permitam avaliar previamente os impactos desejados e at mesmo os equ vocos na g nese das pol ticas p blicas Assim ao propormos segundo o item a ado o das avalia es formativas no mbito do TCU estaremos nos adequando percep o de que sucessos nas pol ticas p blicas n o ocorram somente em vista de pr ticas emp ricas de resultados a posteriori quando poss vel se contar com mecanismos te ricos de aperfei oamento pr vio A fim de que se possa implantar essa cultura de avalia o formati
206. ility governamental complexo e reclama a an lise de v rios atores em uma liga o de rede O papel do controle externo garantir a accountability democr tica nas dimens es de legalidade conformidade e resultado desempenho das pol ticas p blicas 138 Pr mio Serzedello Corr a 2003 Monografias Vencedoras gest o p blica Nesse sentido este texto busca extrair das experi ncias das doutrinas e das teorias emergentes um referencial que auxilie a tra ar o posicionamento estrat gico das EFS mais apropriado aos novos paradigmas de funcionamento estatal Argumenta se que o alcance de um governo de resultados requer que Estados nacionais desenvolvam pol ticas de gest o p blica que equacionem problemas persistentes de d ficit de governan a administrativa estatal AUCOIN 1995 TROSA 2001 Dentre os mecanismos de gest o p blica que auxiliam o alcance desse estado de boa governan a destacam se neste Trabalho a an lise e a avalia o sistem ticas de pol ticas p blicas para que governos possam conhecer os resultados e os impactos resultantes de suas interven es informando os aos diversos interessados Assim o ensaio visa encorajar reflex o e ao entendimento de modelos e estrat gias que v m sendo internacionalmente adotados por institui es centrais de controle da administra o p blica para a condu o de recentes modalidades de revis o governamental tais como auditorias de desempenho perfo
207. inistrativos e por consequ ncia pela necessidade de maior investimento em avalia o de programas p blicos Sugere se a aproxima o crescente do TCU com o Congresso Nacional de modo a suprir a assimetria de informa o entre os Poderes Legislativo e Executivo sobre a execu o das pol ticas p blicas Recomenda se ainda uma aproxima o maior com a imprensa em bases profissionais e seletivas como forma de aumentar a efetividade do controle por interm dio da mobiliza o dos atores sociais 1 INTRODU O As mudan as na ordem econ mica pol tica e social do mundo nas ltimas d cadas impuseram uma s rie de desafios aos governos nacionais O setor p blico organizado de forma r gida segundo o modelo burocr tico Weberiano auto referenciado mostra se pouco capaz de reagir em ambiente no qual as inova es tecnol gicas est o cada vez mais aceleradas e a sociedade apresenta novas e crescentes demandas A busca da efici ncia e o fortalecimento da democracia exigem n o s uma reforma administrativa mas uma reforma do Estado No plano da administra o p blica a proposta mais abrangente para o Estado melhorar sua capacidade de rea o s mudan as de planejamento do futuro e de aumento da efici ncia chamada de Nova Gest o P blica NGP Os princ pios da NGP tornaram se uma esp cie de cesta de compras da qual os pa ses coletam id ias para modernizar o setor p blico de acordo com as possibilidade
208. ional Auditor Pesquisador e Investigador Juiz Partindo da premissa de que a avalia o de programas pode ser estudada como uma auditoria de desempenho voltada para um programa p blico de governo nosso modelo anal tico tomar por objeto tr s dos pap is identificados pelo autor Deixaremos neste trabalho de enfocar o papel de Investigador Juiz uma vez que ele se refere auditoria de desempenho e se relaciona mais diretamente com a auditoria de conformidade e n o com a avalia o de programas propriamente dita Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 29 3 1 COLABORANDO ACIMA DE TUDO A EFS COMO CONSULTOR ORGANIZACIONAL Emboraostrabalhos de auditoria de avalia o de programas objetivem em ltima inst ncia a melhoria da gest o p blica essa atua o fortemente calcada na obten o de melhorias nos procedimentos e nos processos inclu dos nos projetos e programas governamentais bem como na rela o de parceria auditor auditado esta ltima considerada pe a chave para que as recomenda es resultantes dos trabalhos sejam levadas a efeito Nesse modelo de atua o a EFS procura em parceria com rg os e gestores dos programas do Executivo que passa a ser o cliente principal definir reas com potencial para a identifica o de medidas que venham a produzir aumento na efici ncia e na efic cia de sua a o Nesses termos o desenho metodo
209. ional pode ser considerada um sin nimo da auditoria de desempenho mas um pouco mais distante da avalia o de programas Contudo existe uma demarca o clara de que esta modalidade incorpora novos crit rios e m todos investigativos bem como busca responder a outras perguntas que n o s o do interesse da cl ssica auditoria operacional tais como an lise de conte do de pol tica p blica pesquisa com usu rios an lise de custo efetividade equidade entre outros auditoria A cl ssica defini o de operacional estabelece que essa atividade de controle consiste de revis es met dicas de programas organiza es atividades ou segmentos operacionais dos setores p blico e privado com a finalidade de avaliar e comunicar se os recursos da organiza o est o sendo usados eficientemente e se est o alcan ando os objetivos operacionais Auditoria operacional seria um processo de avalia o do desempenho real em confronto com o esperado o que leva inevitavelmente apresenta o de recomenda es destinadas a melhorar o desempenho e aumentar o xito da organiza o Apesar de as express es auditoria de desempenho e auditoria operacional terem aparentemente significado id ntico de fato essas express es buscam descrever trabalhos distintos A auditoria operacional preocupa se com a efici ncia e o alcance dos objetivos operacionais enquanto a auditoria de desempenho apesar de tamb m se preocupar com esses
210. ionalmente a avalia o de pesquisas ou a estudos Nessa perspectiva a avalia o de programas busca originalmente analisar os processos ou os impactos de programas A primeira atividade processos visa a verificar se o programa est sendo implementado conforme objetivos diretrizes e prioridades e se os produtos est o atingindo as metas previstas com a necess ria efici ncia A segunda atividade impactos busca aferir se as transforma es prim rias e ou secund rias na realidade s o atribu veis s a es do programa estabelecendo as rela es de causalidade GARCIA 2001 p 8 Capitani 1993 Administra o do Setor P blico do Banco Mundial Segundo Diretor de existem sinais cl nicos das causas de fracassos dos processos de avalia o CAPITANI 1993 apud GARCIA 2001 p 16 enumeradas a seguir Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 145 l evit vel quando poss vel 2 provoca mais ansiedade e defensiva do que receptividade 3 rg os respons veis pela condu o da avalia o n o s o capazes de especificar crit rios justos e objetivos para faz la 4 n o consegue proporcionar informa es teis 5 resultados da avalia o extrapolam com demasiada freq ncia o contexto em que s o aplic veis 6 comum a falta de defini o compartilhada dos objetivos da avalia o 7 falta uma teoria de avalia o adequad
211. is o n 660 2002 e as a es Profissionaliza o do Preso e Produ o de Material Esportivo por Detentos Pintando a Liberdade Decis o n 1 715 2002 26 Pr mio Serzedello Corr a 2003 Monografias Vencedoras todas tamb m do Plen rio da Corte Em 2003 ainda nos primeiros meses o Tribunal j julgou em Plen rio tr s novos relat rios A o Alfabetiza o Solid ria de Jovens e Adultos Ac rd o n 93 2003 Cadastro nico dos Programas Sociais do Governo Federal Ac rd o n 240 2003 e Programa Saneamento B sico Ac rd o n 309 2003 De acordo com Bastos 2002 os primeiros trabalhos realizados em 1998 se ativeram principalmente a aspectos relacionados operacionaliza o de atividades e programas selecionados mas nos anos seguintes buscou se avaliar o resultado de programas e de a es governamentais ao incorporar se an lise sempre que poss vel a quest o da promo o da equidade como objetivo das pol ticas sociais Com a cria o de uma unidade voltada especificamente avalia o de programas de governo a Secretaria de Fiscaliza o e Avalia o de Programas de Governo Seprog criada em dezembro de 2000 o Tribunal sinaliza as unidades sob sua jurisdi o e aos outros rg os de controle que est definitivamente incorporada em seu leque de atribui es a avalia o de programas p blicos Essa sinaliza o do Tribunal aliada transforma o j antes men
212. ist ncia Social do Minist rio da Previd ncia e Assist ncia Social g Fundo Nacional de Assist ncia Social h Conselho Nacional de Assist ncia Social i Conselhos Estaduais de Assist ncia Social j F rum Nacional Para Erradica o do Trabalho Infantil k Organiza o Internacional do Trabalho Secretarias estaduais de assist ncia social dos estados do Maranh o Pernambuco Sergipe Bahia Mato Grosso do Sul e Paran m Secretaria Federal de Controle Interno 8 4 autorizar a convers o destes autos em acompanhamento e seu encaminhamento 4 Secex para o monitoramento da implementa o das determina es efetuadas SOBRE A AUTORA Adriana de Oliveira Beal formada em Engenharia El trica pela Universidade de Bras lia e p s graduada em Administra o Estrat gica de Sistemas de Informa o pela FGV Management Foi Analista de Finan as e Controle Externo do TCU de 1992 a 2000 e desde 2000 atua como consultora nas reas de gest o de tecnologia da informa o e seguran a da informa o na Vydia Tecnologia empresa da qual s cia 136 Pr mio Serzedello Corr a 2003 Monografias Vencedoras 4 Colocado O Papel do TCU na Avalia o de Programas de Governo em Busca de um Governo de Resultados Marcelo Barros Gomes I NTRODUGAO E ARGUMENTO O prop sito deste Ensaio apresentar recentes pr ticas de auditoria e avalia o conduzidas por Entidades de Fiscaliza o Superior EFS de diversos pa
213. istra Brit nica Margareth Thatcher em 1979 19 Aucoin 1990 destaca o livro de Peter and Walterman In search of Excellence 1982 como o melhor exemplo e claramente a mais influente literatura sobre a introdu o de pr ticas e id ias gerenciais na esfera do setor p blico Do ponto de vista de pol ticas p blicas ele identifica o trabalho de Niskane Representative Government and Bureaucracy como o que melhor representa o esp rito do conjunto de id ias da Escola de Escolhas P blicas 20 Aucoin 1990 identifica paradoxos entre a Escola de Escolha P blica e a Gerencialista Tais paradoxos contudo parecem ser menos importantes medida que os fen menos da Nova Gest o P blica s o analisados empiricamente 21 O que parece estar impl cito nessa discuss o assumir que a administra o p blica est incrustada na cultura social de que ela deriva Portanto a cultura pol tica e a administrativa devem ser objeto de estudo caso se deseje entender o fen meno administrativo no setor p blico Para uma discuss o sobre a rela o entre cultura pol tica cultura administrativa e admi nistra o p blica veja Peter 1995 Cap tulo dois Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 157 Dessa perspectiva fatores que contam para converg ncia em pol ticas de gest o p blica de auditoria e avalia o parecem se relacionar crise fiscal aos cortes or ament rios e a um
214. itoria 1992 Tradu o do Tribunal de Contas da Uni o e publica o do Tribunal de Contas do Estado da Bahia 1995 PISCITELLI Roberto B Contabilidade P blica uma abordagem da Administra o Financeira Federal S o Paulo Atlas 1990 POLLITT Christopher et a Performance or Compliance Performance Audit and Public Man agement in Five Countries London Oxford University Press 1999 POWER Michael The Audit Society rituals of verification London Oxford University Press 1999 ROSSI Peter amp FREEMAN Howard E Evaluation a systematic approach California SAGE Publications 1982 Evaluation a systematic approach 5 ed Newbury Park SAGE Publications 1993 SANDAHL Rolf Evaluation at the Swedish National Audit Bureau In Advancing Public Policy Evaluation Learning from International Experiences Amsterdam North Holland 1992 SANTOS Luiz Alberto dos amp CARDOSO Regina Luna dos Santos Avalia o de Desempenho da A o Governamental no Brasil Problemas e Perspectivas In XV Concurso de Ensayos del CLAD Control y Evaluaci n del Desempefio Gubernamental Primer Premio Caracas 2001 SEDGWICK Stephen T Encouraging Evaluation in the Australian Budget Sector In Advancing Public Policy Evaluation Learning from International Experiences Amsterdam North Holland 1992 SEGSWORTH R V Policy and Program Evaluation in the Government of Canada In Program Evaluation and the Management of Gov
215. itos adotados pelo TCU s o os seguintes Risco a suscetibilidade de ocorr ncia de eventos indesej veis e inclui e resultados indesej veis ocorr ncia de erros e fraudes conformidade com as normas aplic veis e fracasso na obten o dos resultados desejados o n o atingimento das metas desempenho esperado x desempenho alcan ado Relev ncia a import ncia que um acontecimento ainda que n o seja Em recente trabalho realizado pelo TCU a Secretaria Adjunta de Fiscaliza o Adfis mapeou n veis de riscos estrat gicos por fun o de governo Neste trabalho foram evidenciadas as reas que representavam alto m dio ou baixo risco de execu o seja para o Tribunal seja para a sociedade e o Governo As reas consideradas de alto risco para o Tribunal segundo o trabalho realizado s o Sa de Educa o Organiza o Agr ria Seguran a P blica Previd ncia Social Administra o Finan as Trabalho e Rela es Exteriores Com rcio Exterior As reas consideradas de m dio risco para o Tribunal s o Transporte Gest o Ambiental Ci ncia e Tecnologia e Urbanismo Ao considerar esse trabalho da Adfis nosso enfoque parte da avalia o do risco em rela o aos riscos do Tribunal e tamb m da sociedade e do Governo Desse modo foram consideradas as reas que diziam respeito ao alto e ao m dio risco para o Tribunal e que tamb m representavam alto risco para a sociedade e o Governo Assim en
216. ivis o dos programas final sticos em tr s esp cies de programas Infra estrutura Descentralizado e Institucional Com a nova classifica o a ser utilizada espera se alcan ar a separa o dos programas de reas em que a Seprog n o possui interesse em efetuar avalia es inerentes aos tipos Infra estrutura Gest o de Pol ticas P blicas Servi os de Estado e Apoio Administrativo A inten o realizar trabalhos nos programas e nas a es das reas descentralizadas e institucionais Para melhor explicita o vejamos os quadros seguintes QUADRO 2 CLASSIFICA O DO OR AMENTO DA UNI O p Gest Politicas Publi Lo Programas de Servi os ao Estado J Programas de Apoio Administrativo Fonte Minist rio do Planejamento Or amento e Gest o 96 Pr mio Serzedello Corr a 2003 Monografias Vencedoras QUADRO 3 PROPOSTA DE QUADRO APLIC VEL AO TCU PROPOSTA DE CLASSIFICA AO J Infra estrutura Programas Final sticos Descentralizados Institucionais Programas de Gest o de Pol ticas P blicas Programas de Servi os ao Estado Programas de Apoio Administrativo Fonte Minist rio do Planejamento Mantidos os conceitos do Minist rio do Planejamento e estabelecida a divis o dos programas final sticos a ser utilizada pelo TCU estes foram por n s divididos em tr s categorias descritas a seguir i Infra estrutura abrange os programas relacion
217. jetiva dos elementos necess rios para a valora o pol tica dos riscos e das alternativas da a o p blica O TCU na posi o de organiza o que det m saber cumulativo sobre pol ticas p blicas pode recomendar provid ncias aos administradores visando a aprimorar o servi o p blico atuando de forma pedag gica contribuindo efetivamente para o bem estar da sociedade Maior esfor o doutrin rio e jurisprudencial necess rio para estabelecer com firmeza o alcance dos princ pios da economicidade e da efici ncia na a o do controle externo exercido pelos tribunais de contas Essa evolu o apenas contribuir para o interesse p blico mediante a constru o de um sistema de responsabiliza o que v al m da legalidade adentrando no m rito da a o do administrador A cria o de pa r metros materiais para que seja efetivado esse controle deve ser compartilhada pelos rg os de controle externo e interno bem como pelos rg os de planejamento do Poder Executivo em di logo substantivo e interdisciplinar A conjuntura brasileira ainda demanda que se fortale am os controles externos tradicionais em paralelo implanta o de mecanismos de controle por resultados Como ressaltado por Schick 1998 mesmo parecendo anacr nico em tempos de NGP os controles tradicionais s o a base para a constru o de um setor p blico confi vel transparente e honesto Na discuss o sobre controle e responsabiliza o
218. l gico da avalia o de programas orientado para tr s vertentes gt detec o e corre o de retrabalhos processos que n o agregam valor otimiza o e racionaliza o de processos de trabalho gt aux lio ao auditado no desenvolvimento de indicadores de desempenho e gt difus o das melhores pr ticas gover namentais por interm dio do benchmarking Realizado o trabalho relat rio discutido com o auditado que deve o correspondente aceitar os achados da auditoria e a partir de um processo de convencimento adotar as medidas sugeridas pelos auditores para a obten o dos resultados projetados SHAND amp ANAND 1996 A aceita o das conclus es das avalia es pelo auditado depende da consist ncia metodol gica que garanta a excel ncia do trabalho Esses requisitos s o essenciais para que os avaliadores adquiram legitimidade e consigam superar n o s as resist ncias psicol gicas naturais em ser avaliado mas tamb m as de comunidades t cnicas fechadas que tendem a encarar com ceticismo qualquer an lise vinda de fora i e uma avalia o desenvolvida no setor de sa de Predomina a utiliza o dos mecanismos de persuas o e follow up gerencial para que sejam gerados resultados via implementa o das recomenda es dos trabalhos de auditoria apontando se questionamentos quanto utiliza o de publicidade para os mesmos fins uma vez que a exposi o de quest es externas m di
219. l Seasons 1991 para designar as reformas administrativas levadas a efeito no mbito da administra o p blica de diversos pa ses especialmente queles do sistema de Westminster Canad Inglaterra Nova Zel ndia Austr lia O termo Progressive Public Administration Administra o P blica Progressista foi introduzido pelo artigo de Hood 1994 Key for Locks in Public Administration bem como pelo seu livro Explaining Policy Reversal Capitulo 7 para designar e contrastar o clima progressista de id ias no mbito da administra o p blica que imperava antes da ascens o das id ias contidas na Nova Gest o P blica no come o dos anos 1980 e 90 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 155 reforma administrativa em v rios pa ses pelo mundo notadamente naqueles pertencentes ao chamado Westminster System Aucoin 1990 p 119 Em resumo NGP pode ser definida como uma filosofia administrativa adotada no mbito de diversas administra es p blicas nacionais a partir do final da d cada de 70 que cont m um conjunto de doutrinas coerentes e justificadas Essas doutrinas endere am a quest o de como a administra o p blica deve se organizar para prover bens e servi os p blicos Tais quest es se colocam entre o processo de formula o e implementa o de pol ticas p blicas de um lado e o de doutrinas de gerenciamento p blico e teorias correlatas
220. l quando quero saber do que trata o ltimo estudo populacional feito pelo governo em vez de me aventu rar a ler o pr prio estudo Al m da adequa o do estilo e da adapta o da linguagem outras t cnicas est o dispon veis para melhorar a qualidade da informa o e potencializar seu uso para os diversos segmentos de usu rios tais como a contextualiza o e a condensa o Davenport 2001 a o meio mais poderoso para Para contextualizar a informa o aumentar tanto o interesse do p blico quanto a propens o deste em interagir com a informa o Contextualizar de determinada maneira geralmente implica comparar determinada informa o com o hist rico que a envolve Por exemplo um comparativo do TCU que informe ao gestor que suas despesas com inform tica est o aumentando duas vezes mais r pido do que em outras opera es similares certamente ter mais impacto do que a apresenta o de uma mera lista de recomenda es para que essas despesas sejam mais bem equacionadas Os benef cios da informa o contextualizada s o muitos incluindo a possibilidade de eleva o do desempenho das organiza es auditadas ao n vel mais alto existente em organiza es similares mediante o processo de benchmarking A condensa o outro processo bastante util para acrescentar valor informa o pode ser realizada utilizando se processos para se identificarem nos documentos produzidos dados que dev
221. lanta o com o prop sito de realizar poss veis corre es de etapas e procedimentos visando melhoria do programa medida que est sendo executado Segundo os autores citados essa natureza de avalia o se interessa sobretudo pela compreens o de processos e mecanismos no momento de forma o da pol tica sendo do tipo ex ante ou seja centrada na implementa o do programa sem entretanto desconsiderar a quest o da efetividade dos programas e das pol ticas Neste tipo de avalia o h focaliza o nas atividades e nos benef cios ofertados pelo programa nos cursos de a o nas pr ticas gerenciais e nos tipos de clientela Os estudos de natureza formativa dirigem se para a coleta e o processamento de dados sobre a forma o do programa os quais s o gerados nos primeiros est gios do programa voltando se quase sempre para a melhoria do funcionamento deste O que se deve observar que o tipo de avalia o formativa n o se exclui em rela o ao modelo de avalia o somativa pois esses modelos n o s o excludentes entre si e sim interdependentes em virtude do fato de realizarem as mesmas finalidades pelo aux lio m tuo ou pela coadjuva o rec proca Desse modo podemos constatar que assim como em certos ambientes as avalia es somativas necessitarao de informa es de natureza formativa Tamb m poder ocorrer o contr rio Enquanto a avalia o formativa permite que sejam introduzidos du
222. legue que a participa o social n o d certo no Tribunal e que a burocracia mais competente para decidir o que deve ser fiscalizado Para n o cair no modelo de burocracia auto referenciada e de a o unilateral com rela o sociedade o TCU deve identificar os atores sociais mais relevantes para sua ati vidade mediante a realiza o de uma an lise stakeholder atores principais s ria que n o seja a mera listagem de poss veis atores mas a investiga o de seus interesses de sua capa cidade institucional de colabora o de sua real representatividade e de sua capacidade de ser parceiro do TCU na indu o de melhorias na administra o p blica com base nos elementos coletados em avalia es BRASIL 20021 Essa participa o social pode ser implementada de modo bastante vis vel a exemplo do que ocorre na Audit Comission do Reino Unido mediante a institui o de um comit composto por pessoas not veis da sociedade como ocorre atualmente com os conselhos consultivos da Presid ncia da Rep blica Outra forma seria implantar uma participa o social mais difusa disseminada e especializada mediante a inser o da consulta a atores sociais espec ficos por parte das unida des t cnicas do Tribunal quando da formula o das suas propostas de avalia o por rea de interesse 7 4 RESPONSABILIZA O MEDIANTE COM PETI O ADMINISTRADA A inser o de mecanismos de competi o no Servi o P bl
223. leitoral em si n o oferece instrumentos que obriguem os pol ticos a cumprir as promessas de campanha e pouco tem a contribuir para a responsabiliza o por resultados A responsabilza o horizontal pode ser procedimental cl ssica parlamentar por resultados social e por competi o administrada A responsabiliza o mediante controles procedimentais cl ssicos realizada passo a passo pela pr pria burocracia Mesmo quando envolve agentes que n o correspondem s caracter sticas t picas do funcion rio p blico estes n o s o portadores em geral da legitimidade conferida pelo voto popular nem est o submetidos avalia o peri dica das urnas Trata se do controle exercido tradicionalmente pelos Tribunais de Contas pelo Judici rio pelo Minist rio P blico pelo Controle Interno O mecanismo de controle judicial dos governantes ea exig ncia de presta o de contas aos tribunais de contas s o os instrumentos republicanos de responsabiliza o por excel ncia As principais cr ticas a esse instrumento de responsabiliza o x s o a pouca permeabilidade participa o social o foco em processos e insumos a incapacidade de examinar o m rito da a o p blica o alto custo dos procedimentos de controle a sua morosidade a possibilidade de captura dos burocratas controladores por interesses privados A responsabiliza o mediante o controle do Parlamento exercida segundo os arranjos institucion
224. lhor explicitar os alvos a serem per seguidos e permitir a verifica o do alcance do objetivo dentro do prazo e das condi es de quantidade e qualidade previstas c produtos sa das ou resultados do pro grama d impactos transforma es ou efeitos verificados no ambiente que podem ser atri bu dos ao programa A cria o de um programa deve ser antecedida do reconhecimento de que um problema requer aten o p blica e mais ainda de que este pode ser corrigido por interven o governamental Em outras palavras para justificar um programa a interven o governamental deve ser considerada n o apenas poss vel mas tamb m necess ria para a solu o de um problema considerado cr tico pela sociedade Segundo Anderson 1975 p 55 for policy purposes a problem can formally be defined as a condition or situation that produces a human need deprivation or dissatisfaction self identified or identified by others for which relief is sought Especialmente num pais como o Brasil em que a desigualdade social assume propor es intoler veis adquirem enorme relev ncia os 0l Lei institu da pela Constitui o Federal de 1988 o PPA serve como instrumento normatizador e de defini o das macro orienta es do Governo Federal para a a o nacional em cada per odo de quatro anos cf p gina da C mara dos Deputados na Internet 108 Pr mio Serzedello Corr a 2003 Monografias Vencedoras programas soc
225. lic veis ao estudo dos problemas e processos sociais e das 22 Pr mio Serzedello Corr a 2003 Monografias Vencedoras rela es interpessoais e com o desenvolvimento dos computadores fatores que aumentaram o poder explicativo da avalia o como ferramenta de pesquisa social de acordo com Rossi amp Freeman 1982 e Calmon 2000 Com o lan amento de um conjunto de programas sociais nos EUA e a cria o de programas de ajuda a paises em desenvolvimento a avalia o de programas teve crescimento expressivo nos anos 60 pois grande volume de recursos envolvido nessas iniciativas demandava formas mais aprimoradas de controle CALMON 2000 A partir da d cada de 70 a crise fiscal progressiva comum a todos os paises consolidou a avalia o de programas como forma de controle em fun o da escassez de recursos e da grande press o por aumento da efici ncia governamental e fez com que a nova t cnica passasse a compor a agenda das Entidades de Fiscaliza o Superior as EFS 2 AVALIA O DE PROGRAMAS COMO INSTRU MENTO DAS ENTIDADES DE FISCALIZA O SUPERIOR A atividade de auditoria governamental a cargo das EFS antes centrada nos aspectos financeiros e de legitimidade das opera es realizadas e dos recursos empregados rapidamente seguiu essa tend ncia e ampliou o escopo mais tradicional de sua atua o para empreender trabalhos mais voltados a analisar a efici ncia e a efic cia dos resultados
226. lica um conjunto de a es de Estado geralmente de car ter continuado que almeja a garantia de direitos fundamentais entendidos como tal em decorr ncia do processo hist rico da sociedade adaptado de CASTRO et al 2002 A gest o dessas pol ticas segue ciclo composto das fun es tradicionais de Planejamento Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 49 Or amento Administra o Financeira Contabilidade e Auditoria O que tem sido Ya percebido nos ultimos anos a necessidade de se inserir mais um componente ao ciclo a Avalia o Essa percep o ganhou import ncia medida que ganharam for a no setor p blico doutrinas de gerenciamento voltado para resultados results oriented management ROM e de gest o p blica empreendedora Nesse contexto torna se essencial para a gest o a aferi o do grau de alcance dos resultados e das causas de seu maior ou menor sucesso Assim a avalia o fun o prec pua do gestor no exerc cio da ger ncia No entanto em ltima an lise uma ferramenta de tomada de decis o tanto para o gestor quanto para a esfera pol tica e serve ao princ pio democr tico da presta o de contas acountability O papel do controle externo da administra o o de garantir a fidedignidade das informa es produzidas pelas avalia es dos gestores ou mesmo quando necess rio de produzir dados sobre desempenho como ser
227. lo Corr a 2003 1 No caso de envio por SEDEX os autores dos trabalhos dever o identificar se no envelope da Empresa Brasileira de Correios e Tel grafos ECT apenas por pseud nimo apondo como Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 7 endere o de remetente o da pr pria ag ncia da ECT 2 A data da postagem ser considerada como a de entrega 3 Paraas monografias entregues diretamente no endere o citado neste artigo ser o emitidos comprovantes de recebimento 4 N o ser o aceitas em nenhuma hip tese trocas altera es inser es ou exclus es de parte ou de toda a monografia ap s sua entrega Art 5 Na hip tese de as monografias premiadas terem sido elaboradas em co autoria a entrega do pr mio de acordo com a classifica o dos trabalhos ser feita a todos os autores cujos respectivos nomes estejam na ficha de identifica o sendo o valor devido dividido em partes iguais entre os autores Art 6 Os concorrentes poder o inscrever mais de uma monografia in dita obedecendo em cada um dos trabalhos individualmente s disposi es contidas nesta Portaria Art 7 Os originais dever o ser apresentados em meio digital disquete zipdisk CD ROM e em 3 tr s vias impressas ser escritos em l ngua portuguesa e conter no m nimo 30 trinta e no m ximo 50 cinquenta p ginas devidamente numeradas impressos em um nico lado da folha de pa
228. ltas 42 9 o que demonstra maior preocupa o com informa es de car ter pessoal de reconhecimento do direito a aposentadorias e pens es do que com as pectos relevantes do controle externo b desconhecimento por parte dos con gressistas do papel do TCU e dos meios existentes para acion lo O fato de 25 dos entrevistados n o saberem que pode riam solicitar os servi os do TCU evidencia o desconhecimento por parte dos congressistas do papel do TCU e dos meios existentes para Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 113 solicitar lhe servi os c desconhecimento por parte do contro le interno das atividades desenvolvidas pelo TCU Perguntados sobre se achavam tima boa ruim ou p ssima a atua o do TCU 24 2 dos entrevistados n o souberam ava li la no que tange ao tratamento dispensado a auditorias e inspe es No mesmo trabalho de coleta de dados com parlamentares e gestores p blicos a dissemina o das melhores pr ticas de gest o p blica foi apontada como a medida que mais poderia contribuir para a melhoria da atua o do Tribunal TCU 1999a Em raz o dos baixos ndices de conhecimento da atua o do TCU detectados na pesquisa prov vel que mudando se esse cen rio outras informa es provenientes de a es de controle de gest o fossem apontadas como igualmente importantes para apoiar a gest o p blica e assegu
229. m considera o para que seja vi vel a realiza o de avalia es de programa por uma EFS O primeiro aspecto da dimens o operacional a lideran a caracterizada como a percep o da import ncia e o comprometimento da c pula diretiva da EFS com a atividade Outro aspecto relativo dimens o operacional a estrutura organizacional da EFS que abrange gt localiza o da EFS na administra o p blica Executivo Legislativo ou independente dos dois poderes gt compet ncia legal para desenvolver trabalhos de avalia o de programas e gt exist ncia de unidade especializada ou processos de trabalho espec ficos para a condu o de trabalhos desse tipo Para complementar a dimens o operacional necess rio que seja definido um percentual de recursos humanos para viabilizar a forma o das equipes de avalia o preciso tamb m investimento em treinamento e capacita o dos t cnicos envolvidos bem como metodologia adequada realiza o dos trabalhos Com base no modelo de an lise delineado acima pode se descrever o papel ou os poss veis pap is desempenhados pelas EFS na avalia o de programas p blicos conforme explorado no pr ximo t pico 3 OS PAP IS DAS EFS NA AVALIA O DE PROGRAMAS P BLICOS Ao observar a atividade de auditoria de desempenho de cinco EFS Pollitt 1999 tipifica quatro pap is desempenhados por seus auditores nos trabalhos de campo Consultor Organizac
230. m analisados pelos crit rios de avalia o formativa defendida Assim trabalho estabelecer par metros de adequa o procuramos neste ao que entendemos como proporcional e homog neo na sele o das reas de governo a serem avaliadas Um observados em nossa sele o foi a dos primeiros crit rios exist ncia do maior n mero de programas institucionais Em nossa an lise feita nos programas de governo constantes do PPA 2000 2003 que poder ser adaptada ao novo PPA 2004 2007 previsto para 31 de agosto de 2003 reclassificamos os programas final sticos em programas de infra estrutura descentralizados e institucionais acabamos por definir 42 programas como descentralizados e 157 como institucionais Assim em virtude da previs o do n mero de auditorias operacionais realizadas anualmente pelo TCU Seprog serem oito prop e se a realiza o de auditorias na proporcionalidade de 4 dos programas descentralizados e de 3 4 de auditorias nos programas de cunho institucional 9 3 CRIT RIOS DE CORTE A defini o deste item parte do entendimento de que devam ser estabelecidos par metros que possam excluir previamente os programas a serem levados matriz de risco para que estes n o constem das auditorias a serem realizadas Entendemos que os dois crit rios excludentes seriam i nivel de execu o financeira do programa inferior a 60 nos tr s exerc cios anteriores ao do escopo da auditoria e ii trabalhos
231. m exemplo de como esse tipo de trabalho pode ser conduzido O TCU de fato tem feito significativos avan os nesse sentido e produzido na rea v rios trabalhos de relevo 4 FIM DA DISTIN O ENTRE AVALIA O DE PROGRAMAS E AUDITORIA DE DESEM PENHO DESENVOLVIDAS POR EFS Uma distin o que pode ser feita entre a auditoria de desempenho e a avalia o de programas em sua concep o tradicional conduzida por entidades n o governamentais alude ao papel exercido pelo auditor de uma EFS e pelo avaliador n o governamental Os auditores p blicos s o parte de um sistema de controle autorizativo palavra n o dicionariza da dentro do conjunto de rg os p blicos que constituem a base de um governo democr ti co e seus trabalhos s o baseados em poderes Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 147 estatut rios e mandatos que mais ou menos definem os limites de sua atua o Pelo contr rio avaliadores normalmente v m de uma s rie de diferentes organiza es que possuem mais liber dade de escolha de seu trabalho e de sua abordagem de acordo com as limita es de verbas medida que a auditoria de desempenho conduzida pelos rg os centrais de auditoria correto afirmar que existe o senso de ter o papel de controle e guardi de manter a responsabiliza o de agentes governamentais pelo gasto do dinheiro p blico Em verdade as EFS podem ter o papel de oferece
232. m termos de informa o e retroalimenta o para o processo or ament rio o fato que n o se observa integra o consistente entre o or amento e a gest o por resultados incluindo se a a avalia o mesmo nos pa ses em que a Nova Gest o P blica avan ou mais Tamb m pode ser notada uma menor independ ncia da EFS para selecionar seus trabalhos de avalia o devido ao car ter quase administrativo da tarefa Por ltimo preciso destacar que o impacto dos trabalhos neste caso depende dos mecanismos de intera o Legislativo Executivo gt de press o sobre o Poder Executivo no sentido de que seus rg os implementem as recomenda es propostas e gt de alimenta o do processo or ament rio das informa es obtidas nos trabalhos de avalia o Um verificado se os programas p blicos fossem cen rio bastante favor vel seria regularmente avaliados pelo pr prio Poder Executivo seja por rg os governamentais seja por avaliadores externos contratados porque as EFS poderiam avaliar a qualidade e a consist ncia dessas avalia es e ou se valer desses trabalhos para realizar meta avalia es diminuindo sobremaneira os custos da atividade no mbito da EFS 3 3 INSERINDO TEMAS GOVERNAMENTAL A PESQUISADOR NA AGENDA EFS COMO Talvez este seja o mais desafiador dos pap is desempenhados pois nele a dimensao pol tica que garante o apoio externo a EFS para a atividade de avaliagao nao exist
233. mento no debate pol tico democr tico sobre a condu o das pol ticas p blicas 2 3 AVALIA O DE PROGRAMA NO BRASIL Segundo Ata de 2002 brasileira em avalia o de pol ticas p blicas a experi ncia extensa e floresceu nos anos 70 e 80 No entanto o Autor destaca tr s oportunidades de melhoria nas avalia es realizadas na poca as avalia es eram muito acad micas focadas no desenho das pol ticas e de pouca utilidade para a melhoria da gest o 2 n o havia envolvimento dos implementadores no processo avaliativo e 3 tinham car ter espasm dico Como ant doto para essa situa o Ata de 2002 sugere que as avalia es de pol ticas p blicas devem contemplar quatro dimens es gerarem recomenda es que tenham aplica o pr tica na melhoria da gest o 2 envolverem os principais atores na avalia o 3 produzirem resultados tempestivos para a tomada de decis o e 4 realizarem adequa o metodol gica que confira validade aos resultados Essas provid ncias devem ser adotadas sem perder de vista os dois grandes objetivos da avalia o de programas de governo aperfei oar a a o governamental e prestar contas sociedade No Brasil h diversas iniciativas de avalia o de programas de governo cada qual com suas caracter sticas Grupos de pesquisa nas universidades realizam avalia es que no entanto n o t m como objetivo alimentar o processo or ament rio e de gest o por
234. mento p blico que deve ser organizado de forma a privilegiar e controlar aspectos de honestidade e justi a e o ltimo valores do tipo ambda ressaltam a flexibilidade e a robustez administrativa como principais valores que devem nortear o gerenciamento p blico Hoop AND Jackson 1991 p 12 Hoop 1991 p 11 1 Hood et al 1999 p 6 afirmam que muito da ret rica da Nova Gest o P blica ressalta a relativa import ncia da auditoria de desempenho contrastando esta com auditoria de conformidade Tal ret rica enfatiza uma mudan a de uma prescri o t tica para uma prescri o estrat gica de comando direto para indireto de instru es detalhistas para mais liberdade com certos limites notadamente os relacionados a resultados Nova Gest o P blica de acordo com Barzelay um campo de discuss o pol tica e profissional conduzida internacionalmente sobre pol tica de gerenciamento p blico lideran a executiva design de organiza es program ticas e opera es governamentais 154 Pr mio Serzedello Corr a 2003 Monografias Vencedoras fen meno da administra o governamental denominado Nova Gest o P blica tais como tipos de auditoria de desempenho baseadas em crit rios de efici ncia economia efetividade boas pr ticas de gest o boa governan a qualidade de servi o e atendimento de metas PoLLITT ET aL 1999 p 90 cujas justificativas est o pr ximas dos valores do tipo
235. mida e incipiente tendo em vista que a tese prevalecente para imputa o de responsabilidade em que pese a base doutrin ria exposta a da legalidade Significa dizer que mesmo se identificando defici ncias quanto caracteriza o dos motivos que fundamentaram o ato as exig ncias legais para desqualificar a motiva o apresentada em muitos casos inviabiliza sancionar o administrador por essa raz o Sobre essa quest o o Ministro Bento Jos Buga rin 1989 em sess o realizada no Tribunal de Con tas da Uni o disse com muita propriedade que O TCU come a a deixar de lado sua tradicional cautela e at mesmo timidez diante dos aspectos pol ticos de atua o do Estado para adentrar de forma clara a an lise aprofundada da realidade adminis trativa extraindo conclus es e procurando gerar consequ ncias aperfei oadoras dos procedimentos adotados Para se pensar em uma estrat gia de atua o do Tribunal de Contas na responsabiliza o por resulta dos e na avalia o de programas faz se indispens vel estudar os fatores que afetam a atua o das EFS nes se campo o ambiente no qual se insere o TCU e os principais obst culos que devem ser enfrentados sobre essas quest es que trata o cap tulo seguinte 6 AMBIENTE PARA A AVALIA O DE PRO GRAMAS E A RESPONSABILIZA O POR RESULTADOS NO BRASIL De in cio cabe examinar os fatores que afetam a atua o das EFS no campo da avalia o Pollit
236. mio Serzedello Corr a 2003 Monografias Vencedoras Mundial sobre o PPA o monitoramento do desempenho e o da avalia o s o aspectos importantes do PPA embora esta capacidade n o esteja ainda totalmente desenvolvida Em especial as auditorias da Secretaria Federal de Controle sugerem que diversos programas est o ainda por desenvolver indicadores de desempenho adequados As estimativas de custos podem em alguns casos ser inadequadas Um sistema de informa o parte o Sistema de Informa es Gerenciais do Programa Avan a Brasil Sigplan que se baseia em informa es do Sistema Integrado de Informa o Or ament ria Sidor do Sistema Integrado de Administra o Financeira Siafi e do Sistema de Informa es das Empresas Estatais Siest registra tais informa es sobre o desempenho utilizadas pela Secretaria de Investimento P blico SPI para monitorar e avaliar o comportamento do programa O Sigplan fornece informa o sobre a progress o f sica dos programas em rela o aos custos Pode registrar tamb m as restri es ou as raz es pelas quais a execu o do programa est em atraso Os gerentes de programas podem utilizar esta informa o para solicitar a o dos minist rios relevantes ou do MPOG para solucionar os atrasos Por m o Sigplan normalmente visto como um sistema que necessita de melhorias A reengenharia do Siafi visa a novo m dulo para apoiar o planejamento e a evolu o do PPA Res
237. mplanta o da avalia o de programas como t cnica de controle da a o governamental a reduzido interesse e compromisso dos n veis pol ticos com a fun o de avalia o b insufici ncia de mecanismos para utiliza o dos resultados das avalia es c preocupa o exclusiva com a formula o e implementa o dos programas e projetos em detrimento da sua avalia o d alto custo da avalia o e acesso restrito a metodologias de menor custo e e insufici ncia de pessoal qualificado para a execu o das avalia es dificuldades v m buscando Tentando contornar essas organismos internacionais difundir a pr tica da avalia o nos pa ses em desenvolvimento Assim Santos amp Cardoso 2001 observam que O Banco Mundial tem procurado auxiliar os pa ses tomadores de empr stimos no sentido de ampliar a sua capacidade de avalia o inclusive exigindo como requi sito para a concess o de financiamentos que contribuam para a elabora o dos relat rios de desenvolvimento de seus projetos Desde 1987 tem desenvolvido programas para apoiar o desenvolvimento da capacidade de avalia o de projetos em v rios pa ses como Brasil Chile China Col mbia Indon sia Marrocos Vene zuela e outros e apoiando ag ncias de desenvolvimento regionais por meio do Evaluation Capacity Program ECDP Entretanto segundo Santos amp Cardoso 2001 a instrumentos de avalia o em muitos pa ses desp
238. n ENAP Brasil 2001 VERDUNG E Public Policy and Program Evaluation Londres Transaction Publishers 1997 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 167
239. n o gastar e n o por mau desempenho como desejado Esse tipo de incentivo impele os gestores a sempre buscar mais recursos mesmo que esses recursos n o resultem em melhor desempenho Outro processo or ament rio brasileiro criado incentivo perverso presente no pela instabilidade e pela imprevisibilidade das condi es financeiras com que trabalham os gestores dos programas Os gestores do Setor P blico n o t m certeza do montante dos recursos or ament rios que ser o liberados visto que vigora no Pa s a pr tica de contingenciamento do or amento BRASIL 2002a n 4 120 2002 Al m disso a incerteza quanto ao cronograma de Decreto libera o financeira incentiva os gestores a firmar parcerias com pol ticos interessados em beneficiar seus redutos eleitorais e com empresas interessadas em ganhar licita es para liberar recursos Dessa forma o gestor fica t o ocupado em liberar o financeiro que pouco tempo lhe resta para dedicar se a sua atividade final stica correndo o risco ainda de ficar exposto corrup o gerada pelos pactos firmados com os parceiros Em ambiente com tantas restri es dif cil flex vel e controlada por mecanismos de imaginar uma administra o p blica responsabiliza o por resultados Como afirma Core 2002 p 134 Assumir compromisso de resultado em um contexto de elevada incerteza em que o governo apenas parte da solu o sempre uma decis
240. nacionais Revista do Servi o P blico v 52 n 3 pp 5 51 Bras lia ENAP 2001 TRIBUNAL DE CONTAS DA FRAN A La evaluaci n de programas una forma de an lisis en desarrollo In Revista Olacefs Volume I n mero 3 abril de 1993 TRIBUNAL DE CONTAS DA UNI O 6 Secretaria de Controle Externo Relat rio de Auditoria de Desempenho realizada no Programa Nacional do Livro Did tico PNLD Bras lia Distrito Federal Relat rio Mimeografado 2000 6 Secretaria de Controle Externo Relat rio de Auditoria de Desempenho no Programa Nacional de Alimenta o Escolar PNAE Bras lia Distrito Federal Relat rio Mimeografado 1999 Secretaria de Fiscaliza o e Avalia o de Programas de Governo Relat rio de Auditoria Operacional no Programa de Irriga o e Drenagem do Minist rio da Integra o Nacional Bras lia Distrito Federal Relat rio Mimeografado 2001 Secretaria de Fiscaliza o e Avalia o de Programas de Governo Relat rio de Auditoria de Natureza Operacional no Programa Valoriza o e Sa de do Idoso Bras lia Distrito Federal Relat rio Mimeografado 2001 a Secretaria de Fiscaliza o e Avalia o de Programas de Governo Relat rio de Auditoria de Natureza Operacional no Programa de Desenvolvimento Sustent vel de Recursos H dricos para o Semi rido Brasileiro PRO GUA Bras lia Distrito Federal Relat rio Mimeografado 2001 b TRODDEN Stephen The Objectives and Performanc
241. nais pela primeira vez na Hist ria brasileira p de haver a busca de estabelecimento de par metros t cnicos que pudessem atestar a efici ncia a efic cia e a economicidade dos programas p blicos Essa normatividade constitucional novidade em nosso ordenamento jur dico constituiu se como o grande par metro para gradual evolu o das pol ticas p blicas no Pa s uma vez que possibilitou an lises sistem ticas de programas de governo e nas palavras de Pedro Luiz Barros e Silva do IPEA O processo de avaliar objetiva portanto melhorar a capacidade de gest o do es tado por meio de informa es e an lises que permitam a maior efetividade de suas a es e formula o estrat gica propici ando a melhor ger ncia pelas melhores condi es para a concep o do planeja mento pela maior efici ncia alocativa e pela integra o entre os esfor os de cunho privado e governamental Tais an lises come aram a ser implementadas pelo TCU a partir da d cada de 90 e culminaram como veremos com a cria o de uma estrutura organizacional interna que pudesse abarcar esse novo campo Atualmente poss vel verificar que as pesquisas de avalia es sejam aquelas feitas pelo TCU sejam aquelas feitas por outros rg os servem como importantes instrumentos de apoio decis rio embora n o sejam fato concreto nos tr s n veis de governo certamente um processo que ser adotado em nosso Pa s 4 CONFORMA
242. ncia das a es de avalia o de programas desenvolvidas pelo controle externo A avalia o de programas promovida pelo controle externo um instrumento fundamental para o controle dos gastos p blicos e para o aperfei oamento dos programas de governo Embora a auto avalia o e a avalia o pelo controle interno sejam elementos importantes para o sucesso de programas projetos e atividades da administra o p blica possibilitando a detec o e a corre o de desvios e a melhoria cont nua de processos e servi os a avalia o pelo controle externo possui caracter sticas de amplitude independ ncia e 02 Indicadores de sa de dessa natureza relativos a doen as de veicula o h drica foram utilizados pelo TCU em auditoria de natureza operacional realizada no Programa Saneamento B sico da Funda o Nacional de Sa de Funasa cf Ac rd o n 309 2003 TCU Plen rio 03 acesso rea Avalia o de Programas de Governo que disponibiliza uma s rie de publica es sobre o resultado de auditorias em programas sociais feito a partir da p gina principal do site do TCU no endere o lt hittp Awww tcu gov br gt Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 111 objetividade indispens veis ao aperfei oamento dos programas governamentais As recomenda es do Tribunal de Contas da Uni o oferecem oportunidades para a redu o de custos e riscos dos programa
243. ncia e abertura governamental o processo de formula o em Whitehall ainda governado por dissimula es e segredos KELLNER HUNT 1981 p 264 O n vel de influ ncia dos mandarins do servi o p blico na qualidade de consultores ministeriais ainda alto Entradas laterais no topo do servi o p blico por outsiders n o parece ter desafiado a maioria dos mandarins em posi es de topo A maioria dos outsiders foi designada para ag ncias executivas mas apenas 25 do staff dessas entidades O Executivo Central uma pequena comunidade concentrada em uma rea de pouco mais de um km no centro de Londres Esse aparato n o um governo de estranhos O Governo executivo brit nico uma vila pequena o suficiente para que todos os seus habitantes se conhe am muito bem Al m disso essa comunidade se preocupa em preservar sua reputa o HOOD JAMES 1997 O assessoramento em formula o de pol ticas p blicas no Reino Unido adv m desse territ rio insular de mandarins do servi o p blico A Pol tica Brit nica composto de uma massa que implementa as pol ticas p blicas que poucos privilegiados disseram como deveriam ser desenhadas e implementadas Atingir o topo do servi o p blico BARBARIS 1996 p 140 e se considerar apto a fornecer assessoramento em pol tica p blica na qualidade de um secret rio permanente do Governo Brit nico um processo que geralmente dura a carreira de toda a v
244. nd Performance Auditing and How Auditors Can Contribute to Performance Improvement In Performance Auditing and the Modernization of Government Paris OECD 1996 KORDES Frans G Policy Evaluation and the Netherlands Court of Audit In Advancing Public Policy Evaluation Learning from International Experiences Amsterdam North Holland 1992 LEEUW Frans Performance Auditing New Public Management and Performance Improvement questions and challenges In Performance Auditing and the Modernization of Government Paris OECD 1996 MARTINS Humberto Falc o Burocracia e a revolu o gerencial a persist ncia da dicotomia entre pol tica e administra o In Revista do Servi o P blico v 48 n 1 p 43 80 Bras lia ENAP 1997 MOORE Mark Harrison Creating Public Value strategic management in government Harvard University Press 1998 NATIONAL ACADEMY OF PUBLIC ADMINISTRATION The roles mission and operation of the U S General Accounting Office Relat rio preparado para o Committee on Governmental Affairs of the United State Senate outubro de 1994 OFICINA DEL CONTRALOR Y AUDITOR GENERAL DE IRLANDA Auditor a de la Adminis traci n P blica In Revista Internacional de Auditoria Gubernamental volume 18 n mero 2 abril de 1991 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 39 ORGANIZA O INTERNACIONAL DE ENTIDADES FISCALIZADORAS SUPERIORES INTOSAI Normas de Aud
245. nda o Nacional de Sa de relat rio de avalia o de impacto da implementa o das recomenda es Bras lia 2003b Dispon vel em lt http www tcu gov br gt Acesso em 1 ago 2003 BRASIL Tribunal de Contas da Uni o Decis o n 589 2002 Plen rio Acompanhamento auditoria operacional no FNDE an lise dos resultados das recomenda es feitas pelo TCU Bras lia 2003b Dispon vel em lt http www tcu gov br gt Acesso em 1 ago 2003 BRASIL Tribunal de Contas da Uni o Decis o n 712 2002 Plen rio Acompanhamento audito ria operacional no FNDE an lise dos resultados das recomenda es feitas pelo TCU Bras lia 2002b Dispon vel em lt http www tcu gov br gt Acesso em 1 ago 2003 BRASIL Tribunal de Contas da Uni o Instru o Normativa n 12 1996 Estabelece Normas de Organiza o e Apresenta o de Tomadas e Presta es de Contas e Rol de Respons veis e d outras provid ncias Bras lia 1996 Dispon vel em lt http www tcu gov br gt Acesso em 25 jul 2003 BRASIL Tribunal de Contas da Uni o Manual de Auditoria de Desempenho Bras lia 1998b 70 Pr mio Serzedello Corr a 2003 Monografias Vencedoras BRASIL Tribunal de Contas da Uni o Manual de Auditoria de Natureza Operacional Bras lia DF 2000c Dispon vel em lt hitp Avww tcu gov br gt Acesso em 25 jul 2003 BRASIL Tribunal de Contas da Uni o Resolu o n 155 de 4 de dezembro de 20
246. nfocando ainda a auditoria de conformidade que verifica se todos os atos fatos e opera es administrativas est o sendo seguidos em concord ncia ao ordenamento jur dico e tamb m pela auditoria operacional que visa a verificar a efici ncia a efic cia e a efetividade 2 BARBOSA Ruy Exposi o de motivos sobre a cria o do Tribunal de Contas Rio de Janeiro 7 de novembro de 1890 78 Pr mio Serzedello Corr a 2003 Monografias Vencedoras dos programas de governo e o modo como estes podem ser aperfei oados 3 1 PRIMEIRO PAPEL DO TRIBUNAL DE CONTAS NO BRASIL A caracter stica mais marcante dos pap is exercidos pelo Tribunal de Contas no Brasil foi a que dizia respeito ao controle das finan as p blicas Este tipo de a o conhecida atualmente como fiscaliza o financeira e or ament ria pressupunha o acompanhamento regular das opera es de despesa e receita Em an lise do Decreto 966 A de 7 de novembro de 1890 veremos explicitadas essas determina es que buscavam o estabelecimento de procedimentos para o controle dos gastos p blicos Tamb m podemos dizer que nas diversas Constitui es Federais brasileiras desde a funda o da Rep blica e na pr pria g nese do Tribunal de Contas esse papel foi seguidamente reafirmado Assim o foi nas Constitui es Federais de 24 de fevereiro de 1891 e de 16 de julho de 1934 com previs o de fun es ligadas s compet ncias para liquida o de cont
247. nformativo legais e se superam medida que este Tribunal chamado a intervir na avalia o de programas p blicos no Brasil Este trabalho pretende focar a discuss o sobre o novo mbito de auditorias operacionais papel este atribu do ao TCU a partir da 1988 e tamb m discutir a ado o de novas pr ticas que possam Constitui o Federal de levar ainda mais efetividade e aprimoramento avalia o de pol ticas p blicas Ser o abordados aspectos hist ricos da atua o do Tribunal e de como seu papel vem sendo cada vez mais atuante na sociedade brasileira principalmente a partir da Constitui o de 1988 que ampliou a atua o do Tribunal no contexto nacional Veremos embora que incipientes se levarmos em conta aspectos hist rico temporais as a es do Tribunal de Contas da Uni o no campo de programas p blicos no Brasil t m tido grande repercuss o nos meios institucionais do Pa s o que s faz respaldar o sucesso das pol ticas internas de planejamento do rg o Isso obviamente reflete estrat gias bem sucedidas entretanto n o significa que devamos perder de vista o car ter cont nuo da busca de melhorias em programas p blicos Tr s fatos alentadores nos motivaram para a divulga o desta Monografia o recente relat rio do PNUD ONU de 8 7 2003 que ressaltou os avan os brasileiros na redu o 13 7 2003 de reportagem no Jornal A Folha de das desigualdades A divulga o em S o
248. nformatiza o da contabilidade p blica brasileira alcan ado pelo Siafi Sistema de Administra o Financeira e pelo Sistema do Minist rio do Planejamento Sigplan passou a proporcionar instrumentos que se ainda n o perfeitos pelo menos adequados medi o objetiva de programas p blicos a que se propunha o TCU Al m disso o TCU tem desenvolvido consistente trabalho de an lises estat sticas feito por institui es especialmente contratadas para esse fim Ressalte se que as avalia es feitas pelo Tribunal de Contas da Uni o t m se constitu do em trabalhos de qualidade reconhecida pelos mais atuantes atores da nossa realidade Mas o que deve ser observado que esse tipo de enfoque dado pelo Tribunal como citado situa se pr ximo s chamadas avalia es somativas e de monitoramento ligadas aos efeitos e aos resultados dos programas que t m a ver com a an lise e a produ o de informa es que dizem respeito a etapas posteriores implementa o do 12 programa e objetivam analisar a efetividade do programa traduzida na quest o de que em que medida o programa atingiu com sua implementa o os resultados pretendidos sendo do tipo ex post ou seja centrada no impacto proporcionado pelo programa frente a seus benefici rios Assim esses tipos de avalia o acabam por enfatizar os efeitos do programa perante seus benefici rios Observa se tamb m que os estudos deste tipo de avalia o tendem
249. ng A primeira matriz seria aplicada aos programas e s a es classificados como descentralizados A segunda aplicada queles classificados como institucionais A Matriz de Risco para os programas descentralizados leva em considera o crit rios afetos execu o que se d nos munic pios e em alguns casos nos estados Parte se do pressuposto de que os crit rios de sele o de benefici rios a implementa o de a es a contrata o e o pagamento de profissionais o controle o monitoramento a avalia o entre outras s o atividades executadas diretamente na ponta Em n vel federal compete definir pol ticas bem como controle monitoramento e avalia o o que nem sempre ocorre como tem se observado nas auditorias realizadas nos ltimos cinco anos J a matriz desenvolvida para os programas institucionais leva em considera o crit rios ligados institui o ao qual est vinculado de forma a se obter um ranking por fun o e por rg o Isso porque a implementa o de a es a contrata o e o pagamento de profissionais o controle o monitoramento a avalia o conforme citado s o desenvolvidos no mbito da institui o 9 5 1 PROGRAMAS DE EXECU O DESCENTRALIZADA A RELEV NCIA QUADRO 4 Quantitativos Qualitativos a Demanda potencial IBGE Censo a Prioridade do Governo est na Agenda b Popula o beneficiada b Est como priorit rio na LDO c Alcance do Programa b
250. ng competi o Cabe destacar que as recomenda es determina es das EFS em seus relat rios podem tamb m afetar os processos da reforma Al m disso os regulamentos e as normas expedidas pelas EFS podem alterar os pr prios processos de reforma administrativa A an lise fornecida por este trabalho proporciona sugerir algumas linhas de a o que podem ser seguidas pelo TCU As auditorias de natureza operacional conduzidas pelo TCU s o auditorias de desempenho Assim deve se ter em mente um conceito mais ampliado de avalia o de programas que englobe an lise de todo o ciclo de pol ticas p blicas bem como que n o se restrinja a programas mas que possa ser utilizado em pol ticas rg os e 162 Pr mio Serzedello Corr a 2003 Monografias Vencedoras atividades governamentais 2 O TCU deve auxiliar a consolida o da integra o entre a gest o por desempenho e as gest es financeira e or ament ria p blicas nas dimens es de disciplina fiscal agregada efici ncia alocativa custos e operativa efetividade SCHICK 1997 3 O TCU deve contribuir para a gover nan a estatal por interm dio de avalia es sistem ticas e para a constru o de um sis tema robusto de accountability governamental por resultados 4 O TCU deve garantir a transpar ncia governamental promovendo o controle social 5 O Tribunal deveria embutir como fazem institui es de controle que acompanharam mais rap
251. nhecidos para identificar as oportunidades para melhoria do desempenho cf Gloss rio do Programa da Qualidade no Servi o P blico dispon vel em lt http aplicativos planejamento gov br Ciclo2002 Instrumento Avaliacao2002 doc gt Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 129 acesso s informa es Atualmente entretanto o site do TCU se assemelha para o usu rio externo a uma grande biblioteca composta de estantes nas quais os livros e os peri dicos est o dispostos em ordem num rica e cronol gica sem nenhum sistema de cataloga o por assunto que permita a localiza o dos t tulos desejados Para ter acesso a informa es sobre determinada rea que n o estejam dispon veis no Sistema de Normas e Jurisprud ncia ou nele n o tenham sido encontradas devido s defici ncias relatadas no item 6 2 1 o usu rio precisa retirar da prateleira publica o por publica o examinando a para poder decidir se tem utilidade para a pesquisa em curso A cria o de uma biblioteca virtual com recursos de pesquisa simult nea nas v rias bases de dados dispon veis evitaria que os usu rios da informa o precisassem efetuar pesquisas isoladas em v rias fontes informacionais diferentes publica es Revista do TCU e Informativo TCU Sistema de Normas e Jurisprud ncia etc reduzindo o esfor o de busca e ampliando o leque de resultados de uma mesma consulta Uma biblioteca
252. nstitucional ou legal n o preveja ou limite a realiza o de trabalhos dessa natureza A dificuldade mais evidente em rela o a tal estrat gia que ela baseada numa rela o de confian a avaliador avaliado dif cil de ser conquistada especialmente se a EFS tamb m desenvolve atividades de auditoria de conformidade que impliquem por vezes a investiga o dos mesmos gestores cuja parceria proposta cria o de uma unidade especializada em avalia o de programas na estrutura da EFS pode minimizar esse tipo de resist ncia por criar a percep o de um produto diferenciado oferecido por t cnicos com outra cultura t cnico organizacional Outro questionamento sobre essa estrat gia se refere poss vel perda de independ ncia da EFS medida que os relat rios passam por um processo de negocia o e os achados precisam ser aceitos pelo gestor avaliado para que sejam adotadas as provid ncias sugeridas Um contra argumento a essa quest o o fato de que quanto maior a respeitabilidade t cnica e a imagem da EFS perante os gestores maior a percep o destes quanto ao benef cio advindo da ado o das provid ncias sugeridas nos relat rios e menor a necessidade de negocia o Essa seria a natureza intr nseca do processo de legitima o dessa abordagem Outro ponto fraco apontado relativamente ao papel consultor a reduzida for a das recomenda es mesmo depois de negociadas com o avaliado uma vez
253. ntada na op o pelo lcool Em termos de gera o de valor a auditoria apresentou um volume bastante significativo de informa o tratada e agregada antecipando j no in cio da d cada de 1990 a import ncia que a informa o e o conhecimento teriam nos dez anos seguintes Interessante notar tamb m que foram apontados no trabalho os problemas que levariam derrocada do Proalcool Alguns anos depois em 1996 o Tribunal fincou outro marco significativo para a avalia o de programas como instrumento de controle Em linha com o rec m lan ado Brasil em A o de 1995 o TCU lan ou o Projeto de Capacita o P blicos em Avalia o de Programas desenvolvido com o apoio da Funda o Get lio Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 25 Vargas e em parceria com a Virginia Polytechnic Institute and State University e a National Academy of Public Administration NAPA Ap s o treinamento de 26 t cnicos em D C avalia es piloto no ano seguinte 997 Washington foram realizadas nove Entre os projetos piloto realizados com sucesso destacam se as seguintes avalia es gt Projeto de Educa o B sica para o Nordeste Projeto Nordeste gt Programade Levantamento da Plataforma Continental LEPLAC e Programa de Avalia o do Potencial Sustent vel de Recursos Vivos da Zona Econ mica Exclusiva REVIZEE gt Programa de Promo
254. ntos a aperfei oarem sua capacidade que segundo levou os de acompanhamento cr tico dos atos da administra o em um primeiro momento pela cria o de comiss es parlamentares especializadas e posteriormente por interm dio de institui es externas de assessoria ao parlamento para desempenhar essas tarefas de controle Segundo Weber apud SPECK 2000 os parlamentos evolu ram de parlamentos de debates em plen rio para parlamentos de trabalho desenvolvendo a capacidade de discutir profissionalmente assuntos ligados pol tica nacional Esse modelo de parlamento mais atuante bastante comum em pa ses anglo sax nicos seja representado pela poliarquia presidencialista norte americana em que o parlamento compete com o Executivo e influencia a administra o seja nas poliarquias parlamentaristas europ ias nas quais a administra o formada dentro do parlamento MARTINS 1997 e tem reflexos profundos na estrutura o de suas respectivas EFS Segundo o Relat rio Anual do GAO 90 de seus trabalhos s o demandados originalmente pelo Congresso situa o que obviamente diminui a autonomia da EFS uma vez que fica bastante restrita sua capacidade de planejar seus pr prios trabalhos A atividade de avalia o nesse caso depende menos da disposi o da c pula da EFS do que do interesse que o parlamento tenha sobre mensura o e avalia o de resultados dos programas governamentais Embora at
255. o Disserta o de Mestrado Departamento de Administra o da Faculdade de Estudos Sociais Aplicados da Universidade de Bras lia UnB Bras lia DF 1997 CHELIMSKY Eleanor Expanding GAO s capabilities in program evaluation The GAO Journal 43 52 Washington Winter Spring 1990 COHEN Ernesto amp FRANCO Rolando Avalia o de Projetos Sociais Petr polis RJ Vozes 1994 38 Pr mio Serzedello Corr a 2003 Monografias Vencedoras CONTANDRIOPOULOS Andr Pierre l valuation dans le domaine de la sant concepts et m thodes In Avalia o em Sa de Dos Modelos Conceituais Pr tica na An lise da Implanta o de Programas p 3 Rio de Janeiro Ed FIOCRUZ 1997 COTTA Tereza Cristina Metodologias de avalia o de programas e projetos sociais an lise de resultados e de impacto Mimeografado Trabalho final do Curso de Forma o para a Carreira de Especialista em Pol ticas P blicas e Gest o Governamental Bras lia agosto de 1997 DAVIS Dwight F Do you want a performance audit or a program evaluation Public Admin istration Review 35 41 Washington Jan Feb 1990 GARCIA Ronaldo Coutinho Subs dios para organizar avalia es da a o governamental Texto para discuss o n 776 Bras lia IPEA janeiro de 2001 HATRY Harry P et al Practical Program Evaluation for State and Local Governments 2 ed Washington D C The Urban Institute 1981 HOMLMQUIST J rgen amp LARSON Ulrika Barklu
256. o Poder Executivo pelo Congresso Nacional pelo meio acad mico ou seja pela comunidade de pesquisadores de nosso Pa s e ocasionalmente pela m dia Nessa conjuntura a utiliza o da avalia o de programas p blicos pelo Tribunal de Contas da Uni o pode ser empregada de v rias formas de modo a agregar o m ximo de valor p blico as a es governamentais desempenhando os tr s pap is usualmente desempenhados pelas Entidades de Fiscaliza o Superior descritos neste trabalho Para concluir depois de analisar e explorar as possibilidades de utiliza o da t cnica de avalia o de programas pelo Tribunal de Contas da Uni o sob o modelo anal tico proposto dos pap is desempenhados pelas EFS necess rio enfatizar que um tipo de contribui o independe do papel a ser desempenhado a produ o de informa o de alta qualidade Na conhecimento em que vivemos hoje no c lere sociedade da informa o e do s culo XXI a informa o tende a ser cada vez mais valorizada tratada como mercadoria no setor privado devido a sua import ncia para a gera o de lucro e sobreviv ncia das empresas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 37 No setor p blico informa o de qualidade representa condi o sine qua non para o desenho de pol ticas p blicas mais eficientes eficazes e justas al m de condi o b sica para necess rias corre es de programas e
257. o Segundo o autor a principal fun o de qualquer organiza o gerente ou atividade governamental criar valor para a sociedade Devido s peculiaridades do setor p blico n o s o aplic veis os conceitos utilizados pelo setor privado de gera o de valor Assim Moore constr i o conceito de valor p blico para orientar os gerentes p blicos na busca de melhores resultados da a o governamental Essa concep o de valor p blico consiste em tr s dimens es intrinsecamente relacionadas que n o subsistem isoladamente substantiva pol tica e operacional A an lise dessas tr s dimens es em qualquer a o ou atividade empreendida no setor p blico permite identificar se ela ir gerar valor para a sociedade relaciona se A dimens o substantiva ao impacto que a a o governamental proporciona sociedade A dimens o pol tica preocupa se com a viabilidade pol tica da a o ou seja o apoio que ela pode angariar para sua sustenta o Por ltimo a dimens o operacional analisa a viabilidade operacional e a administrativa da implementa o da a o Nessa linha que tipo de valor p blico uma EFS pode gerar para a sociedade ao avaliar programas p blicos Em termos substantivos a avalia o de programas revela duas finalidades b sicas 1 melhoria da gest o p blica 2 manuten o da accountability governamental 28 Pr mio Serzedello Corr a 2003 Monografias Vencedoras A primeira obtid
258. o entre duas formula es ou mesmo entre dois programas alternativos Em virtude do reconhecimento da excel ncia t cnica dos seus trabalhos e do potencial de lideran a sobre outras institui es de controle notadamente os Tribunais de Contas estaduais o TCU poderia assumir a lideran a de uma rede de controle de resultados que poderia a partir da combina o de esfor os envolvendo a forma o de equipes mistas e de bancos de dados contendo informa es sobre desempenho contribuir para a melhoria de diversos programas cuja execu o descentralizada para os estados 2 O TRIBUNAL DE CONTAS DA UNI O NO PAPEL DE AUDITOR Quando se analisa a atua o do TCU no papel de auditor verifica se que esse o papel menos exercido no que se refere avalia o de programas governamentais Isso significa que o Congresso por uma s rie de fatores de natureza hist rica pol tica institucional Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 35 e cultural ainda n o descobriu o valor da avalia o de programas como ferramenta de controle externo legislativo A possibilidade mais concreta de utiliza o da avalia o de programas seria a constru o de uma interface entre a execu o or ament ria e o desempenho dos programas p blicos j que o Congresso o respons vel pela aprova o do Or amento Federal e teria portanto informa es que poderiam ser utilizadas di
259. o por exemplo o n mero de escolas constru das de vacinas aplicadas de servidores treinados ou de estradas recuperadas em rela o ao previsto nos planos de governo ou na legisla o espec fica No segundo caso deve se agregar an lise dimens es que permitam equipe pronunciar se por exemplo sobre a redu o da evas o escolar a erradica o de doen as contagiosas a qualidade dos servi os prestados pela Administra o ou a redu o dos ndices de acidentes no tr nsito importante fazer a distin o entre essas duas abordagens uma vez que o cumprimento de uma meta f sica ou a disponibilidade de um servi o pode ser condi o necess ria mas insuficiente para que determinado problema seja efetivamente resolvido ou determinada necessidade seja atendida Muitas vezes o efeito esperado pode n o ocorrer ou ser insignificante Uma observa o a ser feita quanto a o do TCU seja na auditoria de desempenho operacional seja na avalia o de programa a focaliza o Conforme constatamos em ambos s o priorizados ou o processo de gest o ou os efeitos produzidos pela interven o governamental Assim n o h propriamente uma discuss o dos aspectos formativos de pol ticas de governo Ao analisarmos os conceitos dos padr es adotados pelo TCU verificamos que h poucas refer ncias a uma poss vel discuss o de pol ticas de governo Uma das poucas refer ncias pode ser encontrada no item VI dos as
260. o Tur stica do Brasil no Exterior gt Programa de Elimina o do T tano Neonatal e gt Projeto de Implanta o do Gasoduto Brasil Bol via No mesmo ano de 1997 foi implementada outra iniciativa de capacita o que consistiu na realiza o de curso de especializa o em Avalia o de Pol ticas P blicas e Governo desenvolvido pela Escola de Pol ticas P blicas e Governo da Universidade Federal do Rio de Janeiro UFRJ No ano seguinte 1998 o Tribunal firmou um Acordo de Coopera o T cnica com o Reino Unido que possibilitou a implementa o de um Projeto de Desenvolvimento de T cnicas de Auditoria de Natureza Operacional nas reas de sa de educa o e meio ambiente com vig ncia inicialmente prevista de tr s anos depois prorrogada e ampliada para abranger tamb m outras reas de atua o consideradas necess rias Em 1999 foram julgados seis relat rios com trabalhos desenvolvidos a partir da operacionaliza o desse projeto O primeiro foi o relat rio de auditoria realizada sobre a aloca o de recursos no Programa de Preven o da resultou na Dengue que Decis o n 226 99 Plen rio Em seguida foram julgados dois relat rios na rea de educa o envolvendo as presta es de contas e as transfer ncias de recursos financeiros ao FNDE que resultaram nas decis es n 244 e 274 99 Depois foi a vez do Programa Nacional de Controle da Tuberculose Decis o n 308 99 e do Ibam
261. o alcan ado por aquele profissional Entre os v rios aspectos citados por Aguilar amp Ander Egg 1994 que podem ser enfocados na avalia o de um programa destacam se v necessidades v plano e conceitualizagao do programa v processos v qualidade v eficacia v efici ncia v efetividade Harry P Hatry identificava em 1981 como principais problemas impostos avalia o de programas os seguintes a recursos limitados humanos e financeiros b exiguidade de tempo disponibilizado para a realiza o frequentemente alguns meses quando n o algumas semanas c press o para desviar avaliadores para projetos considerados pela administra o como mais urgentes Obst culos como esses segundo o autor frequentemente resultam em avalia es superficiais e mal planejadas Na opini o de Zavelberg 1985 tr s elementos principais poderiam representar obst culos implanta o de exames de resultados de programas Em primeiro lugar o ambiente pol tico em que est o situados os programas a serem avaliados Os exames complexos requerem compara o dos objetivos originais com a execu o real uma declara o dos benef cios objetivamente quantific veis e da rela o causal assim como dos custos estimados com os realizados Se essas revis es t m resultados positivos ser o certamente bem recebidas pelos interessados Se ao contr rio revelarem fracassos erros ou malversa es poder o s
262. o da A o Governamental O Papel do Tribunal de Contas da Uni o Dagomar Henrique Lima RESUMO Esta Monografia papel do Tribunal de Contas da Uni o TCU na avalia o de programas p blicos Explora uma reflex o sobre o se o tema explicitando a conex o da avalia o de programas com a responsabiliza o dos agentes p blicos pelos resultados da a o governamental e com o exame do m rito dos atos administrativos A avalia o de programas apresentada como o instrumento por interm dio do qual o Controle Externo pode formar ju zo sobre o real alcance de resultados concretos pela a o p blica Do ponto de vista legal o exame do desempenho dos programas p blicos identificado com o exame do m rito do ato administrativo Al m de ser compet ncia do Tribunal de avalia o de programas visando a examinar as constitucional Contas a diversas dimens es do desempenho da a o p blica atende crescente exig ncia social por resultados efetivos e eficientes da a o de governo Essa exig ncia social encontra eco na doutrina administrativa da Nova Gest o P blica que preconiza um Estado centrado na eficiente mobiliza o de recursos para a satisfa o dos anseios do cidad o cliente N o obstante a constata o da necessidade de maior esfor o doutrin rio sobre a quest o conclui se pela inexorabilidade do caminho do Tribunal de Contas rumo ao aprofundamento do exame do m rito dos atos adm
263. o de determinado programa Avalia o formativa que ocorre durante seu processo de implementa o e avalia es somativas que ocorrem ap s o t rmino de um programa ou um projeto servindo para julgar o m rito e a relev ncia de um programa em rela o a determinados crit rios No quadro da p gina seguinte apresentamos uma s ntese dos tipos de avalia o bem como suas caracter sticas respectivas segundo apo ntam os estudos 6 CONCEITOS DE AUDITORIA DE DESEM PENHO OPERACIONAL E AVALIA O DE PROGRAMAS UTILIZADOS PELO TCU No mbito do TCU s o empregados os conceitos de avalia o de programas parametrizados pela INTOSAI International Organization of Supreme Audit Institutions endere o eletr nico lt www tcu gov br gt entidade que agrega as Institui es de Auditorias de Governo Essas avalia es de programas de governo h algumas d cadas t m sido adotadas em virtude da percep o de que os controles sociais se estabelecem medida que os cidad os se conscientizam da import ncia de sua participa o em todo o processo pol tico Ao seguir essa conceitua o o Manual de Auditoria Operacional do TCU Auditoria de Natureza Operacional Anop estabelece o conceito como avalia o sistem tica de programas projetos atividades e sistemas governamentais assim como de rg os e entidades jurisdicionadas ao Tribunal e abrange duas modalidades auditoria de desempenho operacional
264. o de que os programas de pol ticas p blicas do Governo brasileiro t m conseguido diminuir as ainda persistentes desigualdades sociais Em sentido oposto verdade tamb m o fato de que existe a manuten o de desigualdades sociais ligadas a fatores socioecon micos o que por si corrobora a exist ncia de programas p blicos que possam superar essas desigualdades O Tribunal de Contas da Uni o tem sido importante agente fiscalizador da aplica o dos recursos p blicos federais seja pela a o de controle de contas seja pela an lise dos programas p blicos brasileiros Nesse sentido a crescente demanda pela atua o do Tribunal de Contas da Uni o evidencia a import ncia que as fun es de controle podem ter na realidade de uma na o Essas atua es do TCU s o pautadas mormente por dois pressupostos no primeiro ele atua como rg o fiscalizador de a es conformes aos aspectos legais do ordenamento jur dico brasileiro visando ao disciplinamento na aplica o dos recursos p blicos A outra vertente do seu foco dirigida an lise de processos operacionais relativos a pol ticas e programas de governo em que o Tribunal vem desempenhando papel de ineg vel aceita o nos meios institucionais e que motivo desta Monografia Se nos detivermos em analisar tais conceitos veremos que uma forte demanda de atua o do Tribunal sobre o conceito de conformidade legal demonstra em grande parte inadequa o p
265. o de tarefas e fidedignidade e adequabilidade de informa es relacionadas a resultados e fidedignidade das bases que estabelecem objetivos organizacionais efici ncia dos sistemas de controle monitoramento e informa o e legalidade do gerenciamento de tarefas e e conformidade dos atos de gest o com diretrizes or ament rias 5 3 FRAN A As auditorias de desempenho conduzidas pela Corte de Contas da Fran a examinam a qualidade bem como a regularidade do gerenciamento Existem v rios regulamentos que suportam a autoridade da Corte para conduzir trabalhos de auditoria consubstanciados no Code des Juridictions Financi res incluindo o dever de assegurar o bom emprego de cr ditos gerais destinados presta o de servi os por parte do Estado s assurer du bon emploi des cr dits g r s par les services de l Etat bem como assegurar a boa aplica o dos recursos p blicos bon emploi des cr dits 5 4 HOLANDA A Corte de Contas da Holanda conduz trabalhos de auditoria de desempenho com base no Ato Governamental de Contas De acordo com esse Ato os trabalhos devem atentar ao gerenciamento orientado por x objetivos do Estado e organiza o e ao funcionamento do servi o p blico Auditoria orientada a objetivos com foco em sistemas financeiros contratos e sistemas de garantia da economia dos gastos p blicos o termo geral para auditoria de desempenho no mbito da Corte Holandesa
266. o dif cil Sob outro aspecto a reestrutura o or ament ria deveria ter sido acompanhada de ajuste na estrutura administrativa do Governo que a moldasse em fun o dos programas a serem executados conforme preconizado pelo Decreto n 3 134 99 BRASIL 1999a o que ainda n o ocorreu no grau desejado Segundo Core 2002 p 134 como n o houve o ajustamento da estrutura administrativa a atua o dos gerentes em rela o aos produtos tem conflitado em v rias oportunidades com as atribui es de unidades e n cleos de poder j existentes Al m da falta de adequa o das estruturas a pobreza das informa es sobre os impactos sociais dos programas bem como a falta de revis o de a es sobrepostas similares ou descoordenadas impede avan os significativos no campo da efici ncia alocativa No n vel federal a experi ncia recente de designa o de gerentes de programas respons veis por desempenho empreendida no segundo governo Fernando Henrique mostrou se fracassada na maior parte das vezes Os gerentes como planejado inicialmente deveriam ter canal aberto direto com o Presidente da Rep blica e ser respons veis por implementar arranjos que possibilitassem atingir as metas do Plano Plurianual Na pr tica boa parte dos gerentes era completamente dependente dos gestores isto daqueles que tinham poder para decidir gastos alterar ou propor altera es no desenho dos programas e que se re
267. o futuro e alertar os pol ticos e os gerentes quanto a essa possibilidade e revis es geral de gest o avalia as organiza es em vez dos programas Quando essas revis es v o al m das auditorias de desempenho da capacidade gerencial elas geralmente buscam as causas significativas para problemas ou sucessos persistentes na esfera do desempenho dentro de uma gama de atividades de um programa 2 1 AUDITORIA FINANCEIRA E DE CONFORMIDADE Auditoria de desempenho ou avalia o de programas e auditoria financeira ou de regularidade diferenciam se na maneira como s o gerenciadas no mbito das EFS O modelo tradicional de auditoria consiste em um ciclo anual repetitivo de checagem de livros enquanto a auditoria de desempenho e avalia o conduzida por meio de um projeto espec fico POLLITT et al 1999 p 16 O controle de desempenho envolve mais atores em seu processo e alcan a p blicos mais abrangentes da administra o p blica e constituintes externos que as tradicionais formas de auditoria de conformidade guisa de exemplifica o de tal abrang ncia a arena de defini o de pol ticas p blicas pode ser citada quando se conduzem trabalhos de auditoria de efetividade ou ainda quando se realiza avalia o de programas p blicos O impacto de relat rios de auditoria na opini o p blica e a sua repercuss o na m dia tende a crescer em trabalhos que tratam de quest es de efetividade e gerenciamento de imp
268. o p blico como o campo de estudo das pol ticas p blicas uma rea de m todos e objetos difusos fica bastante improv vel se acumular sistematicamente conhecimentos e criar uma teoria geral Mas de forma alguma deve se abandonar a id ia de conhecer e transformar o mundo ao mesmo tempo Talvez esse seja o maior desafio dos auditores de desempenho da gest o governamental pois al m de conhecer seu objeto de estudo devem propor mudan as significativas em pr ticas de gest o com vistas ao aumento da accountability democr tica bem como da melhoria do servi o p blico Os conhecimentos de conte dos metodol gicos das ci ncias sociais da economia e da an lise de gerenciamento do setor p blico por exemplo adquiridos pelo auditor de desempenho s o certamente mais abrangentes que aqueles do auditor tradicional de central de se tentar construir um fundamento conformidade legalidade O objetivo metodol gico para a disciplina auditoria de desempenho criar uma argumenta o rigorosa e uma an lise de perspectiva comparativa sobre o papel das Entidades de Fiscaliza o Superiores em nova administra o p blica que visa al m da adequa o e da conformidade dos atos de gest o a resultados melhores Tentou se mostrar no texto que existe um movimento de transforma o singular para o controle pois medida que se busca maior autonomia gerencial e flexibiliza o do aparato governamental os sistemas d
269. o programa tem como uma de suas caracter sticas principais a racionaliza o do processo de instrumentaliza o das pol ticas p blicas mediante o manuseio de dados sobre custos efici ncia quantidade de produtos efic cia e impactos gerados efetividade Contudo mesmo ap s o advento da reforma or ament ria no Setor P blico o controle continua predominantemente formal e exercido por meio da sua contabiliza o com foco no cumprimento de prazos na conformidade com a lei de licita es e com normas patrimoniais bem como no registro das etapas de presta o de contas de transfer ncias volunt rias Falta portanto incorporar o controle substantivo que permita avaliar aspectos do m rito da despesa p blica KASHIWAKURA 1998 p 593 Para tal preciso alterar o foco do processo de elabora o or ament ria dos insumos para os produtos Embora o foco na produ o e na gera o de impactos por interm dio da a o p blica seja caracter stica fundamental do or amento programa a id ia de produto ainda muito incipiente em nossa pr tica or ament ria CORE 2002 p 127 128 Vale lembrar que os atores do processo or ament rio nacional continuam recebendo 60 Pr mio Serzedello Corr a 2003 Monografias Vencedoras incentivos perversos que estimulam o gasto ineficiente Ao fim do ano fiscal todos os recursos n o utilizados prescrevem Dessa forma os gestores s o penalizados por
270. objetivo o trabalho se divide em quatro cap tulos al m desta introdu o e das conclus es No primeiro s o apresentados os conceitos b sicos cujo conhecimento preliminar se faz necess rio para uma an lise mais aprofundada do tema quais sejam conceito de avalia o de programa de governo e de avalia o de programa Tamb m s o analisados neste cap tulo os principais tipos de avalia o de programas bem como os objetivos e as especificidades a considerar na implanta o e na aplica o desta moderna t cnica de auditoria O segundo cap tulo apresenta a evolu o hist rica da avalia o de programas no mundo e no Brasil assim como descreve o relacionamento da atividade com as EFS e com o Tribunal de Contas da Uni o estando relacionadas as principais iniciativas os mais relevantes trabalhos j realizados e as contribui es oferecidas acerca do tema O cap tulo tr s abriga o cerne do trabalho e nele est o descritas as an lises realizadas sobre a metodologia de avalia o de programas Procura se responder neste cap tulo se o trabalho que hoje se desenvolve nas EFS 14 Pr mio Serzedello Corr a 2003 Monografias Vencedoras mesmo de avalia o de programas ou auditoria de desempenho De igual modo procura se justificar a raz o pela qual deve uma EFS executar avalia es de programas dentro do seu conjunto de atribui es bem como de que maneira essas avalia es de programas podem ser
271. objeto a conveni ncia e a oportunidade do ato praticado foi necess rio acrescentar instrumentos para o controle de gest o destinado a verificar o desempenho final stico da administra o O Tribunal de Contas da Uni o TCU rg o auxiliar do Congresso Nacional na fun o de controle externo da Administra o P blica Federal assume nesse contexto importante papel de apoio melhoria do desempenho da gest o governamental Sua independ ncia em rela o aos rg os fiscalizados em contraste com o sistema de controle interno inserido na estrutura controlada d lhe condi es de atuar como importante inst ncia retroalimentadora favorecendo a melhor concatena o entre meios e fins para assegurar a efetividade da a o p blica Este trabalho pretende analisar como a ampla e adequada divulga o dos resultados das a es de avalia o de programas p blicos realizadas pelo TCU pode contribuir para o aperfei oamento do controle da Administra o P blica e para a consecu o dos fins para os quais o Estado se prop e Essa an lise ser usada para se sugerirem medidas que poderiam ser adotadas pelo Tribunal a fim de potencializar o uso da informa o oriunda de a es de avalia o de programas do TCU em benef cio da sociedade Em fun o dos objetivos propostos este trabalho se divide em seis segmentos nos quais ser o abordados os seguintes pontos a o conceito do que s o os programas p bl
272. odalidades auditoria de desempenho operacional e avalia o de programa TCU 2000 Como essas modalidades est o diretamente relacionadas s defini es de efici ncia efic cia e efetividade importante conceituar esses termos Segundo o Manual de Auditoria de Natureza Operacional do TCU efetividade corresponde rela o entre os resultados impactos observados e os objetivos impactos esperados J a efic cia oferece uma medida do alcance das metas programadas em determinado per odo de tempo independentemente dos custos implicados enquanto a efici ncia pode ser entendida como a rela o entre os produtos gerados por uma atividade e os custos dos insumos empregados em determinado per odo de tempo No contexto da auditoria de natureza operacional um programa pode ser objeto tanto de auditoria de desempenho operacional para avaliar sua efici ncia e sua efic cia quanto de avalia o de programa para avaliar sua efetividade A Figura ajuda a ilustrar a diferen a entre essas modalidades de auditoria FIGURA l MODELO DE INSER O DAS MODALIDADES DE AUDITORIA DE NATUREZA OPERACIONAL NA VIS O SIST MICA DA A O GOVERNAMENTAL uditon de deseipenho ope clongl Awal a o de gt rograme we sa o Dol SRI SAMI tov Ade is thie dao DTL ntd k Teitehs san Mwin miks Itas hare krumm rsa bebe ser tus ltir i ENTI RR Maand thw mz a INSUMOS may PROCESSO Des PRODUTOS mh IMPACTOS d
273. ode atuar como elemento de aux lio na resolu o de problemas que de outra forma n o encontrariam espa o para o debate Em termos de apoio externo dimens o pol tica essas abordagens podem garantir o apoio dos gestores dos programas visto que as defici ncias de desempenho ou os riscos encontrados podem estar sendo ocasionados por circunst ncias fora da sua governabilidade tais como contingenciamentos or ament rios por exemplo Nesse caso as avalia es podem funcionar como elementos que confiram maior for a pol tica ao gestor na busca de recursos or ament rios Se por um lado a reduzida percep o da import ncia dos trabalhos de avalia o na agenda do Legislativo representa uma lacuna de apoio externo por outro significa maior autonomia no planejamento e no direcionamento da atividade j que n o existe uma demanda externa de trabalhos a ser atendida Essa maior autonomia de a o parece ir ao encontro dos padr es institucionais de atua o dos Tribunais de Contas intrinsecamente menos vinculados aos Parlamentos que as Controladorias embora n o haja ainda estudos que sustentem essa tese Em termos operacionais j que n o h demanda externa consider vel por trabalhos de avalia o dependem nica e exclusivamente da c pula dirigente da EFS a iniciativa e o apoio para a estrutura o e o desenvolvimento da atividade de avalia o de programas Z E interessante observar tamb m que o exe
274. ojeto ou seja as modifica es verificadas no objeto da a o governamental que podem ser atribu das nica e exclusivamente ao programa ou ao projeto sob exame Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 103 que o conjunto de a es sistematizadas de relacionamento divulga o e troca de conhecimentos entre o TCU e a sociedade o Congresso Nacional e os gestores p blicos e que consiste em divulgar a es do Tribunal nas reas de Sa de Educa o e Forma o da Cidadania ao Congresso Nacional sociedade civil e aos gestores Esse tipo de pr tica ratifica nossa tese de que preciso estabelecer di logos entre os Poderes do Estado e tamb m com a sociedade Outro ponto a requisitarmos para que essas pr ticas cheguem s demais esferas de governo a extens o por parte do TCU do seu processo de treinamento de Auditorias Operacionais para os Tribunais de Contas dos Estados tal como feito hoje no Tribunal de Contas da Bahia e de Pernambuco de forma a capacit los para a avalia o de programas p blicos Tamb m necess ria a supera o do conceito de implementa o como mera etapa subsequente formula o de programas de governo Assim ao requerermos neste Trabalho a implanta o da cultura de avalia es formativas no mbito do TCU estaremos referendando a consolida o de que preciso haver coordena es harm nicas entre as esferas e os Poderes de Estado
275. olicy Reversals Buckingham Open University 1994 JACKSON M Administrative Argument Aldershot Dartmouth 1991 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 165 JACKSON M Key for Locks in Administrative Argument Administration and Society 25 4 467 488 1994 JAMES O The Central Executive apud Dunleavy P et al Developments in British Politics 5 Chapter 9 New York St Martin s Press 1997 etal Regulation Inside Government Waste Watchers Quality Police and Sleaze Busters New York Oxford University Press 1999 KELLNER P HUNT C The Civil Servants Londres Routledge 1981 KINGDON J Agendas Alternatives and Public Policies Boston Little Brown 1984 MAJONE G The Rise of the Regulatory State in Europe West European Politics 17 3 77 101 1994 METCALFE L RICHARDS S Improving Public Management SAGE Publications Ltd 1987 MINTZBERG H Structure in fives Designing effective organizations Englewood Cliffs NJ Prentice Hall 1983 NELSON B Public Policy and Administration An Overview apud Goodin R Klingermann H D ed A New Handbook of Political Science Oxford Oxford University Press Chapter 24 1996 pp 551 592 OSBORNE D GAEBLER T Reinventing Government Reading MA Addison Wesley 1992 POLLIT Christopher et al Performance or Compliance Performance Audit and Public Manage ment in Five Countries Oxfo
276. om opera es semelhantes possibilitando sua ado o sem que haja necessidade de uma a o de controle direta naquelas entidades C AUMENTO DA COOPERA O COM O CON TROLE INTERNO Com informa es sobre avalia o de programas especialmente formatadas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 131 para atender s necessidades do controle interno o TCU estar contribuindo para o aperfei oamento das rela es e para a melhor integra o e coopera o entre as duas esferas de controle O acesso f cil e r pido a essas informa es poder assegurar uma atua o do controle interno mais alinhada do controle externo favorecendo a economia de recursos e a maximiza o dos benef cios advindos dos trabalhos de fiscaliza o de programas p blicos D ESTREITAMENTO DAS RELA ES COM O CON GRESSO NACIONAL Como visto no Cap tulo 5 consider vel o desconhecimento por parte dos parlamentares da forma de atua o do TCU e dos instrumentos existentes para acion lo o que acarreta uso ainda muito t mido da informa o produzida em a es de controle final stico A oferta de informa es sobre avalia o de programas formatadas e organizadas para atender s necessidades e s expectativas dos parlamentares e facilmente acess veis pela Internet certamente representaria grande passo para que as a es de controle de desempenho desenvolvidas pelo TCU passem
277. omo uma ferramenta estrat gica Rio de Janeiro Campus 1994 MOODY Daniel WALSH Peter Measuring the value of information an asset evaluation approach Dispon vel em lt http www dama org au melbourne ValueOfInformation pdf gt Acesso em 3 jun 2003 PIMENTA Carlos C sar Descentraliza o com integra o A gest o de pol ticas p blicas em um contexto descentralizado O caso brasileiro Texto preparado para o III Congresso Internacional do CLAD Conselho Latino Americano para o Desenvolvimento sobre a Reforma do Estado e da Administra o P blica Madrid 14 17 de out 1998 SATO Cl udio Seiji Utilizando a Internet na Administra o P blica Textos para discuss o n 22 Bras lia MARE ENAP dez 1997 TCU Ambiente de Controle Bras lia 1999a Pesquisa sobre o TCU Frente s Tend ncias do Con trole da Gest o P blica uma proposta de mudan a institucional rea tem tica 2 Paradigmas de Controle Externo Bras lia 1999a Pesquisa sobre o TCU Frente s Tend ncias do Controle da Gest o P blica uma proposta de mudan a institucional rea tem tica 1 Manual de Auditoria de Natureza Operacional Bras lia 2000 TCU Assina Acordo de Coopera o com Reino Unido Notas de imprensa 20 9 2002 Dis pon vel em lt http www tcu gov br imprensa Notas gt Acesso em 26 de jun 2003 Relat rio Anual de Atividades do TCU Exerc cio de 2002 Bras lia 2003a Relat rio de Atividades
278. onar a informa o pertinente e julgar o m rito e o valor de algo de maneira justific vel Embora a avalia o de resultados seja considerada a abordagem mais comum a avalia o de programas assume diversas formas podendo abranger a aprecia o da pertin ncia do programa a efici ncia e a efic cia o custo e a aceitabilidade os impactos esperados e os alcan ados A avalia o tamb m pode ser realizada tanto pela pr pria organiza o gestora do programa quanto pelos sistemas de controle interno e externo da administra o p blica 2 1 AVALIA O PELO CONTROLE INTERNO Segundo Zymler 2001 o controle interno um g nero do qual constituem como esp cies o controle administrativo e o sistema de controle interno Ocontroleadministrativo ouintra administrativo fundamenta se na faculdade de vigil ncia orienta o e corre o exercida pelo pr prio rg o ou entidade tendo em vista o ajustamento ou a corre o dos rumos para o alcance das metas propostas O sistema de controle interno por sua vez al m de dar apoio ao controle externo tem por finalidades o exame da consecu o das metas previstas no plano plurianual e a avalia o da execu o dos programas de governo dentre outras previstas no art 74 da Constitui o Federal 2 2 AVALIA O PELO CONTROLE EXTERNO A Constitui o Federal conferiu ao Tribunal de Contas da Uni o o papel de auxiliar do Congresso Nacional no exerc cio da fun o de c
279. ontrole externo da Administra o P blica Federal abrangendo a fiscaliza o de natureza cont bil financeira or ament ria operacional e patrimonial da gest o art 71 A atua o do TCU apresenta duas vertentes b sicas o controle da legalidade da gest o p blica cuja express o m xima est no julgamento das contas dos administradores respons veis por recursos p blicos e o controle dos resultados dessa gest o exercido principalmente por meio de auditorias e inspe es nos diversos entes jurisdicionados Visando a ampliar sua capacidade de con trole sob a tica dos resultados o TCU tem promovido diversas iniciativas no sentido de aprimorar os meios e os instrumentos de con trole de gest o Entre as a es desenvolvidas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 109 pode se destacar o Programa de Coopera o T cnica com o Reino Unido iniciado em 1998 para aperfei oar os trabalhos de auditoria de desempenho J em sua segunda fase o Programa almeja agora intensificar o uso de metodologias de avalia o de programa es pecialmente voltadas para a quest o da redu o da pobreza e da desigualdade social TCU 2002 O Manual de Auditoria de Natureza Operacional do TCU d avalia o sistem tica dos programas projetos atividades e sistemas governamentais a denomina o gen rica de auditoria de natureza operacional compreendendo as m
280. or parte dos gestores no trato da res p blica Idealmente a atua o do TCU nesse campo deveria ser restrita pois desse modo estar amos superando a distin o entre a idea o normativo legal perfeita e a sua pr tica Por m se nos ocuparmos na an lise do segundo conceito o de participa o nos processos operacionais e pol ticos perceberemos que atua es ou avalia es sobre pol ticas e programas p blicos demonstram gradativa matura o dos processos pol ticos da nossa realidade Nesse caso o pensar a id ia de pol ticas p blicas denota percep o de que uma sociedade s poder alcan ar os n veis desejados de implementa o dessas pol ticas quando os poderes do Estado se re nem sob as vestes harm nicas do bem comum Este conceito foi bem tratado por Arist teles na sua obra A Pol tica Nela o Fil sofo grego nos pergunta quando da forma o da consci ncia pol tica grega sobre o que entendemos que seja melhor o bem individual ou o bem Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 75 comum Nesse caso chegamos conclus o de que o bem comum deve prevalecer sobre a individualidade e de que um Estado n o formado por meras individua es mas sim pelo car ter greg rio de indiv duos unidos pelo bem de todos Desse modo as contribui es poss veis do Tribunal de Contas da Uni o transitam pela concord ncia da sua atua o quanto aos ditames co
281. or si s a mudan a do modelo PPA Or amento j foi significativa pois estabeleceu em linhas gerais a programas organizados segundo a l gica de projeto com etapas prazos e metas definidos b um gerente para cada programa respons vel por custos e metas c sistema de informa es gerenciais de uso compartilhado e d divulga o de resultados visando ao controle social Essa mudan a aliada a modifica es que veremos a seguir introduzidas na metodologia de trabalho do Tribunal de Contas da Uni o poder vir a ser o motor de uma nova sistem tica de controle da gest o dos recursos p blicos em nosso Pa s 4 AVALIA O DE PROGRAMAS E O TRIBUNAL DE CONTAS DA UNI O Pode se afirmar que a avalia o de programas vinha sendo gestada no mbito do TCU em conjunto com as primeiras experi ncias de capacita o em larga escala em auditoria operacional em 1990 e 1991 Nessas iniciativas pioneiras o Tribunal realizou segundo Bastos 2002 44 trabalhos de auditoria em diversos rg os e entidades Um desses trabalhos consistiu no exame do Programa Nacional do lcool Proalcool TCU 1990 Embora tenha sido rotulado de auditoria operacional o trabalho j apresentava todas as caracter sticas de avalia o de programas e at de avalia o de pol tica p blica j que o relat rio opinava acerca da continuidade do programa e consequentemente da pol tica de combust vel ent o adotada represe
282. orma es que lhe permitam exercer adequadamente a aprecia o pol tica da a o governamental A implementa o dessa colabora o estreita com o Parlamento pode ser feita por interm dio da identifica o de parlamentares chave em cada rea da a o governamental para que eles atuem como informantes e parceiros privilegiados em fiscaliza es que visem a avaliar resultados Devem ainda ser estabelecidas parcerias negociadas com as respectivas comiss es tem ticas das duas Casas Legislativas de modo a supri las de trabalhos de avalia o que tragam elementos suficientes para subsidiar o exerc cio do controle parlamentar sobre a a o governamental Essa colabora o estreita poderia chegar ao ponto de encaminhar pautas de quest es s comiss es que orientassem o debate com os representantes do Executivo Por mais ousada que possa parecer essa ltima proposta vale lembrar que ela pr tica comum em v rios pa ses nos quais o rg o que auxilia o Parlamento no controle externo tem papel efetivo na forma o da agenda pol tica chamando a aten o para reas da a o p blica que apresentam resultados insatisfat rios Para exemplificar cita se o caso brit nico No Reino Unido a divulga o das avalia es de programa efetuadas pela Audit Comission e pelo National Audit Office s o um acontecimento nacional durante o qual h acirrados debates sobre al ternativas para melhorar o desempenho com base inclusiv
283. ormance Auditing A comparative Analysis of Orga nizational Strategies in the OECD Governance v 10 n 3 1997 p 235 260 ____ The New Public Management Improving Research and Policy Dialogue Berkeley University of California Press 2001 BARBARIS P The Elite of the Elite Permanent Secretaries in the British Higher Civil Service Londres Dartmouth 1996 CHELIMSKY E Old Patterns and new directions in program evaluation Program evaluation patterns and directions E Chelimsky ed Washington D C American Society for Public Administration 1985 DEWAR D The Audit of Central Government Londres Paul Chapman Ltd 248 59 1991 DOGAN M PELASSY D How to Compare Nations Strategies in Comparative Politics Chatlan House inc 1984 DOWDING K The Civil Service Londres Routledge 1995 DUNN W Public Policy Analysis 2 ed Englewood Cliffs NJ Prentice Hall 1994 FRIEDMAN J Planning in the Public Domain from Knowledge to Action Princeton NJ Princ eton University Press 1987 GLYNN J et al Auditing the Three Es The Challenge of Effectiveness Public Policy and Ad ministration v 7 n 3 Winter 1992 GARCIA R Subs dios para Organizar Avalia es da A o Governamental Textos para Discuss o Brasil IPEA 2001 HATHERLEY D The Audit Research Agenda the Drive for Quality and its Dependence on Professional Judgement University of Edinburgh 1995 HOOD C Explaining Economic P
284. ornecido a respeito do conte do existente nessas edi es de modo a que o usu rio pudesse selecionar aquelas que abrigassem textos com alguma utilidade para a consulta desejada FIGURA 6 TELA DE ACESSO S EDI ES DA PUBLICA O AUDITORIAS DO TCU Edi es Dispon veis Microsoft Internet Explorer Arquivo Editar Exibir Favoritos Ferramentas Ajuda GONNA LV O eco http www tcu gov br ISC sedip auditoria Auditorias html Auditorias do TCU w Pagina Principal Edi es Dispon veis Os arquivos abaixo necessitam do Programa Adobe Acrobat Reader para serem lidos Clique aqui para fazer o DOWNLOAD do Acrobat Reader Auditorias n 10 Auditorias n 11 Auditorias n 12 Auditorias n 13 1999 2000 2000 2000 Edi es Anteriores Auditorias n 09 1999 Auditorias n 04 1999 Auditorias n 08 1999 Auditorias n 03 1998 Auditorias n 07 1999 Auditorias n 02 1998 Auditorias n 06 1999 Auditorias n 01 1998 Auditorias n 05 1999 124 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Em r pida compara o com as informa es ofertadas nas p ginas do rg o de controle externo dos Estados Unidos General Accounting Office GAO pode se observar grandes diferen as em rela o facilidade de localiza o de informa es teis para gestores controladores e cidad os Como mostra a Figura 7 na p gina principal do site do GAO os relat rios de maior relev
285. orrelata e detalhada caracteriza o das pol ticas p blicas Pode se destacar os seguintes fatores que afetam a escolha dos temas de auditoria o mandato constitucional da EFS as formas de relacionamento entre executivo e legislativo o status constitucional da EFS as rela es da EFS com entidades da sociedade civil e com o Parlamento as prefer ncias pol ticas e doutrin rias de grupos de interesse externos Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 59 e internos a atua o de outras entidades no pa s ou no exterior que realizam avalia o de desempenho No Brasil qualquer tentativa de enfrentar seriamente o desafio da avalia o de programas pelos rg os de controle deve levar em considera o o ambiente no qual se trabalhar fundamental ter consci ncia das limita es para que se possam adotar provid ncias com o objetivo de minimiz las ou super las Nesse sentido a seguir descrevem se as caracter sticas do arranjo institucional e administrativo brasileiro que constituem obst culos a o do controle na responsabiliza o por resultados e pr tica da avalia o de programas 6 1 PRINCIPAIS LIMITA ES RESPONSABILI ZA O POR RESULTADOS E AVALIA O DE PROGRAMAS A responsabiliza o por resultados e a avalia o de programa como seu instrumento s o meios avan ados de controle democr tico do Estado que exigem um grau de organiza
286. ortantes opera es governamentais Finalmente destaca se que o processo de auditoria de desempenho geralmente mais longo comparado com o de auditoria de conformidade porque envolve mais quest es metodol gicas e influenciado por mais atores As avalia es que buscam medir impacto geralmente envolvem custos maiores notadamente de tempo Os crit rios e os m todos utilizados por EFS na condu o de trabalhos de auditoria de desempenho e avalia o s o um avan o metodol gico se comparados com os tradicionais m todos de auditoria de coletar analisar e disseminar informa es Auditoria financeira um sistema rico em regras formais e procedimentos t cnicos POWER 1997 p 39 H autores que argumentam que essa esp cie de auditoria por um lado dever tornar se Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 143 cada vez mais um produto de conformidade procedimental de regula o removendo progressivamente o espa o de profissionais para realizarem julgamentos HATHERLEY 1995 Por outro lado os processos de condu o de auditoria de desempenho e avalia o de programas t m proporcionado atividade de auditoria governamental aproxima o com outros campos do conhecimento tais como ci ncia pol tica administra o p blica comparada gerenciamento p blico e an lise de pol ticas p blicas entre outros 2 2 AUDITORIA OPERACIONAL Aauditoria operac
287. os para formar ju zo sobre sua efici ncia sua efic cia e sua efetividade gerando recomenda es para melhor lo e informa es para prestar contas Essa defini o possui diversas implica es A que se destaca de pronto a necessidade de se fixarem crit rios de avalia o como requisito para se formular opini o sobre o desempenho do programa Os crit rios podem ser definidos como padr es utilizados para determinar se um programa satisfaz ou supera o esperado GAO 1999 p 38 A necessidade de se dispor de crit rios n o trivial s vezes os crit rios devem ser constru dos em acordo com os atores do programa Essa situa o ocorre com fregii ncia quando se est examinando atividades isto processos de trabalho do programa Por vezes usam se casos de boas pr ticas reconhecidos por gestores e especialistas como meios de se alcan ar bom desempenho Os crit rios de avalia o s o fixados no decorrer da caracteriza o do objeto da avalia o e devem estar suficientemente precisos e detalhados para que possam servir defini o de um arcabou o conceitual b sico sobre o que bom desempenho facilitando a comunica o entre os atores envolvidos na avalia o delimita o do escopo da avalia o orienta o da coleta de dados indicando como obter evid ncias significativas fixa o de par metros balizadores das conclus es e das recomenda es da avalia o BRASIL
288. os passo a passo em ambiente de comando e controle O foco do processo de or amento brasileiro ainda est na preocupa o com a conformidade as leis e aos regulamentos em especial na compra de insumos e na contrata o de servi os que s o foco de corrup o H muito ainda a fazer e aperfei oar como por exemplo a cria o de sistema de apropria o de custos para as atividades desenvolvidas pelo Governo e para aloca o de recursos por rg o fun o subfun o programa e a o de forma que sejam ponderados crit rios transparentes para sele o de a es priorit rias de governo Os demonstrativos cont beis dispon veis nos atuais sistemas n o permitem realizar infer ncia sobre a efici ncia mesmo de forma global propiciando a constru o de indicadores de desempenho visando forma o de um painel de controle gerencial RIBEIRO FILHO 1998 p 339 No entanto para a gest o financeira p blica n o suficiente que o Governo aplique corretamente os procedimentos mas tamb m essencial que ele se esforce para alcan ar resultados de modo eficiente e efetivo O desafio posto pelos obst culos atua o do controle externo na verdade uma oportunidade para o TCU assumir papel cada vez mais relevante para a sociedade e tornar se ator indispens vel na discuss o de metas e prioridades em raz o das informa es que det m ou capaz de produzir atua o do Tribunal no controle do m ri
289. os pelo FNDE Presid ncia de Conselhos de Alimenta o Escolar ocupadas por titulares ou funcion rios das entidades executoras Determina o Se questionados sobre o motivo da n o localiza o de documentos mediante o uso de palavras chave que deveriam retorn los os t cnicos respons veis pelo sistema muito provavelmente seriam capazes de oferecer justificativas t cnicas razo veis para o fen meno No entanto ineg vel que esse tipo de dificuldade de acesso informa o caracteriza uma disfun o do sistema de informa o que mesmo capaz de executar o que os t cnicos esperam n o realiza o servi o do qual os usu rios precisam 06 Cf p gina dispon vel em lt http www tcu gov br SAC faqjurisprud C3 A Ancia html gt 120 Pr mio Serzedello Corr a 2003 Monografias Vencedoras FIGURA 2 TELA DE PESQUISA VIA INTERNET NO SISTEMA DE NORMAS E JURISPRUD NCIA Z Home Page do Tribunal de Contas da Uni o Microsoft Internet Explorer Ba Arquivo Editar Exibir Favoritos Ferramentas Ajuda SOndo A eOE Bea E http www tou gov br Sistema de Normas e Jurisprud ncia Base de Dados atualizada diariamente Ajuda Express o para pesquisa avalia o de programa Tipo de pesquisa O Pesquisa Livre O Identifica o n ano ou n Base a ser pesquisada O Ac rd os Decis es e Processos Relacionados O S mulas O Normas OAtas O Todas as bases Documentos por P gina 20 Aten o cliqu
290. para uma participa o social mais efetiva na formula o de pol ticas p blicas e no controle de sua implementa o Ao oferecer informa es formatadas em linguagem apropriada para o cidad o comum facilmente localiz veis pela Internet o TCU estar contribuindo significativamente para o fortalecimento do controle social estimulando a sociedade a melhor conhecer e fiscalizar as a es dos agentes p blicos B ENCORAJAMENTO DA ADO O DE BOAS PR TICAS O acesso a informa es provenientes da a o do TCU na avalia o de programas filtradas sob a tica do gestor p blico casos de sucesso indicadores de desempenho considerados mais apropriados comparativos entre os resultados obtidos por diferentes institui es ou em reas geogr ficas distintas etc pode representar a abertura de um canal de comunica o mais gil eficiente e eficaz entre controle externo e entidades jurisdicionadas e significar importante est mulo ao aperfei oamento da gest o A oferta de informa es selecionadas e contextualizadas sobre avalia o de programas permitir ainda que as melhores pr ticas algumas com grande aplicabilidade nas mais diversas reas governamentais sejam amplamente difundidas com reflexos positivos sobre a qualidade dos servi os p blicos e a efici ncia e a efetividade das a es do Governo Recomenda es feitas a determinada entidade poder o chegar mais facilmente a gestores de institui es c
291. parada com o conjunto de objetivos fixados ou impl citos e os recursos utilizados Importante destacar que naquele congresso ficou estabelecida uma distin o fundamental entre auditorias de regularidade ou operacionais e avalia o de programas Enquanto aquelas se concentram em um rg o ou entidade a avalia o de programas tem como escopo um programa ou pol tica de governo os quais podem ser definidos e implementados por diversos rg os e entidades da administra o o que implica consequentemente em um enfoque integrado Consoante terminologia adotada nas Normas de Auditoria Governamental publicadas pelo General Accounting Office GAO a EFS dos Estados Unidos auditoria de otimiza o de recursos ou avalia o de programas o exame objetivo e sistem tico de evid ncias com o fim de proporcionar uma avalia o independente do desempenho de uma organiza o programa atividade ou fun o governamental no sentido de melhorar a accountability p blica e facilitar o processo de tomada de decis es pelos envolvidos na responsabilidade de supervisionar ou iniciar a es corretivas Segundo a Academia Nacional de Administra o P blica National Academy of Public Administration NAPA o GAO utiliza os termos avalia o de programas e revis o de resultados de programas para exprimir o trabalho que avalia qu o efetivamente programas e atividades est o alcan ando objetivos
292. pectos de avalia o de programas de governo citado Por m neste mesmo item o que se observa Ya que a discuss o tratada em vista das causalidades das a es em rela o a uma pol tica proposta 6 1 ATUAL ENFOQUE DO TCU NAS AUDITO RIAS DE NATUREZA OPERACIONAL As auditorias de natureza operacional Anop s o realizadas pelo TCU desde a d cada de 90 e t m objetivado analiticamente a sistem tica de programas projetos atividades e sistemas governamentais assim como de rg os e entidades jurisdicionadas ao Tribunal com a finalidade de ampliar os controles sociais sobre as pol ticas de governo S o realizadas anualmente pelo TCU 8 auditorias operacionais feitas pela Secretaria de Avalia o de Programas de Governo Seprog Os estudos de viabilidade dessas auditorias s o feitos com base em an lise detalhada do Plano Plurianual de Governo o PPA em que se priorizam os chamados Programas Estrat gicos de Governo Para que se constatem quais programas ser o auditados s o realizados estudos de viabilidade no primeiro semestre de cada ano quando 6 auditorias s o pr selecionadas e realizadas ainda no segundo semestre do mesmo ano e as outras duas no primeiro semestre do ano seguinte Uma vez realizadas essas auditorias e ap s consistentes an lises o TCU faz recomenda es ou determina es a serem adotadas nestes programas de governo e tamb m faz acompanhamento sistem tico dessas recomend
293. pel formato A4 210 x 297 mm utilizando fonte Times New Roman tamanho 4 com no m nimo 27 vinte e sete e no m ximo 30 trinta linhas por p gina espa o interlinear 5 um e meio e margem superior 2 5 cm dois cent metros e meio inferior 2 0 cm dois cent metros esquerda 2 5 cm dois cent metros e meio e direita 2 0 cm dois cent metros 1 Dever constar nos trabalhos apenas o pseud nimo do autor sendo vedado qualquer outro tipo de identifica o direta ou indireta 82 obrigat ria a indica o da bibliografia consultada de acordo com a Norma n NBR 6023 da Associa o Brasileira de Normas T cnicas ABNT a qual n o ser computada na quantidade de p ginas de que trata o caput deste artigo 3 As cita es contidas no texto dever o seguir as especifica es da Norma n NBR 10520 da ABNT Art 8 Para efeito de identifica o o autor dever enviar junto com os originais em envelope lacrado ficha de identifica o com nome completo endere o telefone s e mail t tulo da obra e pseud nimo usado bem como c pia do documento de identidade Par grafo nico O envelope de que trata este artigo dever trazer no sobrescrito somente o t tulo da obra e o pseud nimo do autor DA AVALIA O Art 9 A composi o da comiss o encarregada do julgamento e da classifica o das monografias concorrentes ao Pr mio Serzedello Corr a 2003 ser definida em at 30 trinta dias ap s a data da
294. penho operacional verifica a efici ncia operativa e o grau de cumprimento das metas comparando metas previstas com metas realizadas Segundo o Grupo de Trabalho sobre Avalia o de Programa da INTOSAI 1995 p 2 uma avalia o de programa distingue se de uma auditoria de desempenho operacional porque permite responder a quest es n o abordadas por esta ltima A avalia o de programa via de regra mais ambiciosa em rela o an lise dos objetivos e dos resultados da Um permite esclarecer o exposto uma auditoria interven o governamental exemplo de desempenho operacional em um programa de nutri o infantil procurar verificar o alcance das metas propostas sugerindo eventualmente o aumento da efici ncia do programa mediante sele o mais adequada dos benefici rios e melhoria dos sistemas de aquisi o distribui o e oferta de alimentos Mas nada dir sobre se essas corre es diminuir o a desnutri o Por outro lado a avalia o de programa procurar estabelecer em que medida o programa consegue melhorar a situa o nutricional da popula o alvo se houve mudan as a magnitude delas e que segmentos da popula o alvo foram afetados O que se deve observar que uma avalia o de programa pode n o tratar necessariamente de todos os aspectos A nfase em um ou outro desses aspectos depender das quest es espec ficas que se pretende abordar desde que o rigor metodol gico e
295. portavam aos Secret rios Nacionais dos Minist rios ou mesmo aos Ministros Por conseguinte esses gerentes de regra possu am pouca ou nenhuma autonomia administrativa sendo indicados frequentemente em um ato formal e ritual stico desprovido de consequ ncia Quando as fun es de gerente e gestor coincidiam na mesma pessoa eles ainda estavam sujeitos s limita es das restri es fiscais e da predomin ncia de controles procedimentais cl ssicos passo a passo Especialmente no n vel local o Brasil convive ainda com uma parte significativa de sua sociedade regida por rela es clientelistas Os caciques pol ticos gerados nas oligarquias locais s o bem vis veis na pol tica nacional Em Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 61 contraste com outras sociedades pluralistas em que o processo hist rico de alargamento e de conquista da cidadania refor ou a percep o p blica quanto ao car ter ileg timo das pr ticas clientelistas no caso brasileiro o clientelismo tem legitimidade pr pria O bom funcionamento e o acesso aos servi os p blicos n o s o vistos como direito inerente cidadania mas como concess o queles que det m maior poder de negocia o CASTRO 1988 Essa situa o p e em quest o o conceito de cidad o cliente fundamental para a NGP O processo de conquista e exerc cio da cidadania ainda n o se completou no Brasil Tampouco os brasileiro
296. programa governamental poderiam ser utilizadas de diversas formas para subsidiar o controle interno na elabora o do seu plano de a o adequando o s constata es feitas pelo controle externo para apoiar a tomada de decis o pelos parlamentares acerca da aloca o dos recursos p blicos para esse programa para dar conhecimento ao cidad o de como est sendo gasto o dinheiro p blico Uma mesma informa o pode utilidades assim Quanto mais vezes puder ser reutilizado um recurso apresentar m ltiplas informacional maior o valor a ele associado C O VALOR DA INFORMA O AUMENTA COM A PRECIS O Quanto mais precisa for a informa o maior o seu valor como insumo para a tomada de decis o Por exemplo informa es provenientes de a es de avalia o de programas que reflitam com clareza e exatid o as diferen as entre os efeitos esperados e obtidos com o programa os riscos de fracasso identificados o grau de adequa o dos indicadores de desempenho 114 Pr mio Serzedello Corr a 2003 Monografias Vencedoras adotados etc podem representar importantes subs dios para os processos de reformula o de pol ticas p blicas e de estabelecimento de prioridades or ament rias D O VALOR DA INFORMA O AUMENTA QUAN DO H COMBINA O DE INFORMA ES Quanto mais integrada estiver a informa o maior o valor potencial de sua aplica o A integra o da informa o oferece dentre outras vant
297. projetos j em fase de implementa o BIBLIOGRAFIA AGUILAR Maria Jos amp ANDER EGG Ezequiel Avalia o de servi os e programas sociais Petr polis RJ Vozes 1994 ALBAEK Erik amp WINTER Soren Evaluation in Denmark the State of the Art In Program Evaluation and the Management of Government Patterns amp Prospects across Eight Nations London Transaction Publishers 1990 ARENS Alvin A amp LOEBBECKE James K Auditing an integrated approach Londres Pren tice Hall International 1991 ASSOCIA O BRASILEIRA DE OR AMENTO P BLICO ABOP Gloss rio de termos or a ment rios e afins In Revista ABOP Volume 13 n mero 2 set dez de 1992 BARZELAY Michael Central Audit Institutions and Performance Auditing A comparative Analysis of Organizational Strategies in the OECD Governance vol 10 n 3 pp 235 60 1997 BASTOS Gl ria Maria Merola da Costa A Experi ncia do Tribunal de Contas da Uni o em Auditoria Operacional e Avalia o de Programas Governamentais In O Controle Externo e a Nova Administra o P blica uma vis o comparativa Bras lia Tribunal de Contas da Uni o 2002 BEHN Robert D O novo paradigma da gest o p blica e a busca da accountability democr tica In Revista do Servi o P blico v 49 n 4 pp 5 45 Bras lia ENAP 1998 CALMON K tia Maria Nasiaseni A avalia o de programas como instrumento de aprendizagem organizacional o caso do PROSEGE Mimeografad
298. prud ncia relativas ao tema com indica o da fonte e V sequ ncia l gica sucess o de fatos e id ias com coer ncia e regularidade 83 O Secret rio Executivo da Comiss o Julgadora far uma an lise pr via de todas as monografias inscritas contando com o testemunho de 2 dois servidores do TCU e registrar suas observa es a respeito do item do 8 1 deste artigo na ficha de avalia o preliminar 4 Aavalia o preliminar de cada trabalho inscrito caber exclusivamente ao seu primeiro avaliador 8 5 A avalia o preliminar desclassificar liminarmente os trabalhos que n o atenderem aos seus requisitos ficando a crit rio da Comiss o Julgadora aceitar os trabalhos que n o preencherem totalmente as exig ncias estabelecidas no caput do art 7 8 6 Os trabalhos classificados na avalia o preliminar ser o avaliados em rela o ao m rito segundo metodologia estabelecida pela Comiss o Julgadora 8 7 A pontua o atribu da a cada item da avalia o de m rito ser dada numa escala de n meros inteiros de 0 zero a 10 dez Art A nota final de cada trabalho sera a m dia aritm tica arredondada at a segunda casa decimal das notas atribu das a cada item pelos membros da Comiss o Julgadora 1 No desempate entre concorrentes de igual nota final ter prefer ncia o trabalho detentor da m dia aritm tica simples mais elevada arredondada at a segunda casa decimal das pontua es atri
299. publica o desta Portaria 8 O Presidente da Comiss o Julgadora dever indicar Presid ncia do Tribunal servidor a ser designado para exerc cio das fun es de Secret rio Executivo da comiss o sem preju zo de suas atividades rotineiras 8 2 Os membros da Comiss o Julgadora receber o certificado de participa o na avalia o do concurso emitido pelo Presidente do TCU 83 Os trabalhos da Comiss o Julgadora n o ser o remunerados Art 10 A avalia o das monografias se divide em preliminar e de m rito e ser feita com base 8 Pr mio Serzedello Corr a 2003 Monografias Vencedoras nos itens constantes das Fichas de Avalia o de Monografia anexas 1 A avalia o preliminar levar em conta os seguintes itens enquadramento formal observa o dos requisitos estabelecidos nos arts 4 7 e 8 desta Portaria e Il pertin ncia vincula o do trabalho ao tema proposto 82 A avalia o de m rito levar em conta os seguintes itens aplicabilidade utilidade e m rito do conjunto de conclus es e de eventuais propostas de linhas de a o Il conte do car ter inovador do conjunto das id ias principais e corre o das afirma es ou opini es sobre fatos evid ncias ou informa es pertinentes III linguagem objetividade estilo concis o e corre o da linguagem IV fundamenta o argumenta o fundamentada em fatos hist ricos legisla o doutrina ou juris
300. que a implementa o destas ficaria demasiadamente dentro da margem de discricionariedade do gestor p blico Essa tese ganha ou perde for a medida que a alta c pula do governo esteja comprometida com propostas de moderniza o da administra o p blica Tanto maior a presen a das reformas na agenda governamental tanto maior o potencial de alian a estrat gica entre a EFS e o governo no sentido de gerar valor p blico em termos de melhoria da administra o Da adviria uma press o sobre os gestores para a implementa o das recomenda es da EFS Se ao contr rio o movimento de reformas perde for a aumentam os riscos de que as recomenda es propostas jamais venham a ser implementadas Ao atuar dentro dessa estrat gia a EFS deve monitorar todas as recomenda es constantes das avalia es acompanhando e analisando sua implementa o Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 31 3 2 ELIMINANDO A ASSIMETRIA DE INFORMA ES A EFS COMO AUDITOR Este papel caracterizado fundamentalmente por uma rela o muito estreita entre a EFS e o Congresso que funciona como seu cliente exclusivo solicitando trabalhos cujos relat rios lhe s o posteriormente encaminhados Pode se dizer que essa forma de atua o das EFS tem suas ra zes hist ricas na forma o dos Estados modernos com a apreens o liberal de limita o do Poder Executivo Speck 2000 parlame
301. r ajuda t cnica para que os rg os p blicos melhorem seu gerenciamento mas apesar de importante essa uma fun o secund ria de sua exist ncia a qual n o substitui sua fun o prim ria de guardi POLLITT 1999 p 18 Outra caracter stica da avalia o que ela tamb m se preocupa com o monitoramento do desempenho de pol ticas p blicas como parte de uma rotina de gerenciamento da pr pria atividade enquanto a auditoria de desempenho externa e independente do gerenciamento Um dos principais enfoques da auditoria de desempenho consiste em auditoria de boas pr ticas de gest o BARZELAY 1997 POLLIT 1999 e processos padronizados no rg o auditado ou em sistemas de monitoramento e informa es sobre desempenho mais que na pr pria subst ncia deste Tal parece ser o principal trabalho sendo desenvolvido pelo TCU O quadro a seguir busca sintetizar os principais trade offs que enfrenta uma EFS caso queira incorporar a seu portf lio de controle a avalia o de programas na forma mais tradicional Contudo destaca se que o argumento central deste ensaio o de que a atividade de avalia o de programas vem sendo embutida dentro do pr prio conceito de auditoria de desempenho Para clareza entretanto faz se essa distin o empregando se avalia o um conceito menos abrangente e restrito ao impacto da a o p blica 148 Pr mio Serzedello Corr a 2003 Monografias Vencedoras QUADRO 1 DISTIN O ENTRE AU
302. r falta de interesse de suas fam lias no valor da Bolsa para que em caso positivo busque se meios de inseri las no PETI 8 1 4 estabele a e institua a rela o ideal de alunos por monitor para a Jornada Escolar Ampliada 8 1 5 busque meios de estender o seu Programa de Capacita o a Dist ncia para Conselheiros Gestores e T cnicos da Assist ncia Social para a capacita o dos monitores do PETI 8 1 6 determine e uniformize a quantidade de horas de capacita o para monitores do PETI em n vel nacional 8 1 7 adote medidas com vistas a fortalecer as Comiss es de Erradica o do Trabalho Infantil no que diz respeito sua atua o no controle social do programa 8 1 8 verifique a possibilidade de estabelecer parcerias com ONGs como por exemplo com a Pastoral da Crian a com a finalidade de fiscalizar a execu o do Programa a semelhan a da parceria feita entre o Minist rio da Educa o e aquela entidade para a fiscaliza o do Bolsa Escola 8 1 9 implemente o mais r pido poss vel a solu o para a contrata o dos monitores de modo a tornar o ato legal 8 1 10 busque o fortalecimento das campanhas de conscientiza o dos empregadores e pessoas que exploram a m o de obra infantil n o s no que diz respeito legisla o vigente e suas penalidades mas tamb m quanto imagem da empresa e integridade f sica das crian as 134 Pr mio Serzedello Corr a 2003 Monografias Vencedoras 8 1 11 promova
303. rais como o instrumento adequado para se formar ju zo acerca do m rito da a o p blica Se uma EFS det m compet ncia para examinar a efici ncia a efetividade a legitimidade da a o p blica o instrumento utilizado para exercer esse poder dever a avalia o de programas Desse modo a avalia o tornou se no mbito das EFS uma esp cie de fiscaliza o visto que o meio utilizado pelo rg o fiscalizador para examinar o desempenho dos programas p blicos Os rg os de controle externo designam a avalia o de programas p blicos por diversos nomes maioria usa a express o auditoria de desempenho O TCU apesar de j ter usado essa express o BRASIL 1998b hoje chama a avalia o de auditoria de natureza operacional BRASIL 2000c Do ponto de vista do fortalecimento da democracia um dos meios de fortalecer a cidadania frente ao Estado aperfei oar os mecanismos de responsabiliza o Ya Responsabiliza o aqui utilizada com o mesmo sentido da palavra inglesa accountability e expressa tanto o compromisso pessoal e permanente do administrador de envolvimento ativo na promo o da transpar ncia da gest o quanto o dever perante terceiros os controladores de prestar contas de seus atos Essa ltima face da responsabiliza o perante terceiros conhecida na legisla o brasileira como presta o de contas Constitui o Federal art 70 par grafo nico e Lei n 8 443 92
304. rama sobre a sociedade e confrontar sua efetividade com alternativas poss veis Trata se aqui de uma preocupa o com a efetividade do programa e com a efici ncia alocativa do gasto p blico isto procura se responder se n o seria melhor para a sociedade investir em outro programa Sob esse ngulo a avalia o serve principalmente ao princ pio da presta o de contas e tomada de decis o pol tica O segundo grande objetivo da avalia o a presta o de contas Mais especificamente a presta o de contas mediante controles social e parlamentar dos resultados da a o estatal O fato que tanto o Parlamento quanto a sociedade civil n o disp em de informa es suficientes e fidedignas que lhes permitam exercer de modo efetivo o controle da a o do Poder Executivo Nesse ponto fica clara a conex o entre a fun o avalia o a responsabiliza o por resultados e o fortalecimento da democracia A import ncia da fun o avalia o para a gest o de pol ticas p blicas est diretamente relacionada com seus dois objetivos b sicos aperfei oamento da a o estatal e presta o de contas Assim sendo os trabalhos de avalia o devem ser realizados sob a orienta o desses dois pap is Cabe observar que essa conclus o est em plena conformidade com as diretrizes estabelecidas pelas Entidades de Fiscaliza o 50 Pr mio Serzedello Corr a 2003 Monografias Vencedoras EFS International Organiza
305. ramento de seus impactos c desenvolvimento de material de trei namento e dissemina o dos conhecimentos entre servidores do TCU e de outros rg os de controle interno e externo do Brasil Estes s o resultados esperados com a implementa o do Projeto de Aperfei oamento do Controle Externo com foco na Redu o da Desigualdade Social CERDS S a contribuir para tornar mais efetivo o impacto dos programas governamentais e da regula o de servi os p blicos na redu o da desigualdade social b desenvolver metodologias que permitam enfocar a quest o da exclus o social nas auditorias c disseminar boas pr ticas entre institui es governamentais respons veis pela implementa o das pol ticas p blicas d aumentar a capacidade do TCU x de proceder avalia o de impacto socioecon mico de programas e projetos e monitorar a implementa o das recomenda es f fortalecer os mecanismos de controle da qualidade das auditorias de natureza operacional g disseminar metodologias e t cnicas desenvolvidas no mbito do Projeto para tribunais de contas e rg os de controle das tr s esferas de governo h aumentar a integra o entre o TCU ea sociedade civil organizada 4 TRIBUNAL DE CONTAS DA UNI O Dispon vel em lt http www tcu gov br gt Acesso em 10 de julho de 2003 5 Segundo informa es do Projeto h a previs o da participa o dos Tribunais de Contas Esta duais
306. rangente an lise de enciamento p blico Ci ncia cas contabilidade p blica pol ticas p blicas economia Pol tica Direito Adminis e m todos investigativos de tra o P blica an lise de ci ncias sociais pol ticas p blicas e avalia o de programas oncep o de Provedor de informa es Provedor de informa es so Provedor de informa es Controle Externo sobre resultados da a o p blica identificando pontos de poss vel melhoria bre o bom funcionamento dos procedimentos da administra o Guardi o do Er rio sobre o impacto das a es do Governo Guardi o do bem estar social decorrente da a o p blica 5 AN LISE COMPARADA O QUE OUTROS PA SES FAZEM O controle do desempenho governamental uma atividade que engloba m ltiplas defini es inclusive pelos seus principais atores que s o as EFS Entender o que as EFS fazem em mat ria de avalia o de desempenho significa explorar as dimens es que essa disciplina engloba Al m disso a an lise comparada utiliza m todos de Ci ncia Pol tica e Administra o P blica Comparada para explicar a ado o de certos modelos de auditoria de desempenho por determinada administra o p blica nacional 5 1 INGLATERRA O National Audit Office N O da Inglaterra realiza auditoria de desempenho por determina o do ato de sua cria o em 1983 As auditorias s o conduzidas por meio de estudos denominados Value
307. rante a realiza o do ciclo reajustes e altera es que 90 Pr mio Serzedello Corr a 2003 Monografias Vencedoras se fa am necess rios para que os objetivos sejam obtidos com a maior efici ncia poss vel a avalia o somativa permite que a partir das informa es obtidas ao t rmino de um ciclo possa ser programado o ciclo seguinte em um patamar superior de efici ncia corrigindo se assim erros e desvios constatados Dessa maneira se a avalia o formativa falha compromete se o ciclo em desenvolvimento somativa Defici ncias na avalia o comprometem os ciclos seguintes condenando a organiza o repeti o dos mesmos erros ou at mesmo a vers es piores em termos de desempenho Worthenetal 1997 p lembram que ambasas avalia es formativa e somativa s o essenciais porque as v rias etapas de desenvolvimento de um programa necessitam de aperfei oamento e fortalecimento de op es Destacam tamb m que a demanda por avalia o tem sido excessivamente concentrada na avalia o somativa de impactos que pode ser muito incompleta e ineficiente se n o for precedida de uma avalia o formativa Para ratificar nossa proposi o elencamos trabalho DUAS PROPOSTAS que entendemos servir o para adaptar o papel do neste TCU aos fins de maior efetividade em suas a es PROPOSTA Que o TCU por in term dio da Seprog passe a atuar em avalia es do tipo formativas s
308. rar a efetividade do controle p ex impactos obtidos mediante a implementa o de sugest es da Corte de Contas para o aprimoramento de projetos e atividades constata es sobre o que funciona e o que n o funciona no campo da implementa o de programas p blicos etc 4 2 INFORMA O COMO ATIVO ORGANIZA CIONAL A informa o de qualidade relevante precisa clara consistente oportuna poderoso fator de desenvolvimento das organiza es McGee e Prusak 1994 consideram que a informa o representa uma classe particular entre os recursos da organiza o possuindo caracter sticas que a distinguem de outros ativos organizacionais tais como equipamentos m veis e obras de arte As seguintesregras propostas por Moody e Walsh 2003 para definir o comportamento da informa o como um ativo das organiza es ajudam a explicitar essas diferen as A A INFORMA O INFINITAMENTE COM PARTILH VEL Ao contr rio dos ativos comuns ainforma o pode ser compartilhada infinitamente e usada simultaneamente por in meras pessoas sem que seja consumida nesse processo B O VALOR DA INFORMA O AUMENTA COM O USO Tamb m diferentemente de outros ativos organizacionais que perdem valor medida que s o utilizados pelo processo de deprecia o o valor da informa o aumenta com o uso Por exemplo as informa es produzidas em uma auditoria de natureza operacional realizada em determinado
309. razoabilidade das escolhas dos administradores frente queles princ pios o conte do da aprecia o dos tribunais de contas n o pode deixar de ser pol tico final stico e valorativo como o s o o conte do e a extens o dos atos sujeitos ao controle A exig ncia de que a m quina estatal deve cumprir da melhor maneira poss vel as fun es que lhe cabem passando a ser racionalmente produtiva e n o somente uma executora de leis resultado da evolu o do conceito de Estado Acertadamente Busquets e Martins 1993 destacam que o Estado passou a ser compreendido como agente organizado pol tica e administrativamente Essa percep o ao lado das transforma es das t cnicas administrativas exige que a administra o p blica seja eficiente eficaz e econ mica A abertura do controle dos tribunais de contas para aspectos da escolha p blica tornou se poss vel e mandat rio ante o novo ordenamento constitucional por mais controverso que possa ser legitimidade que faltava aos tribunais de contas em raz o da falta 58 Pr mio Serzedello Corr a 2003 Monografias Vencedoras de representa o popular na investidura de seus membros foi suprida pela Constitui o da Rep blica TORRES 1991 N o obstante os novos paradigmas do Direito Administrativo inseridos no texto constitucional a abordagem desses princ pios no mbito do exame de m rito dos atos sujeitos ao controle do Tribunal mostra se ainda t
310. rc cio da atividade de avalia o de programas no m dio e no longo prazo pode despertar o interesse do Congresso principalmente se os resultados dos trabalhos tiverem repercuss o pol tica ou na imprensa consolidando a posi o da EFS como um centro de excel ncia em avalia o governamental De qualquer forma o desenvolvimento da capacidade institucional de avalia o de programas possibilita a uma EFS estar preparada para eventual e imediata demanda seja do Congresso seja do Governo seja da sociedade ocupando assim um espa o pol tico institucional que de outra forma poderia ser ocupado por outra organiza o do setor p blico ou do setor privado IV COMO O TRIBUNAL DE CONTAS PODE DESEMPENHAR CADA UM DESSES PAP IS Depois de analisar e explorar as possibilidades de utiliza o da avalia o de programas sob o modelo anal tico proposto dos pap is desempenhados pelas EFS estamos prontos para inserir o Tribunal de Contas da Uni o no contexto da an lise e decidir de que maneira a nossa EFS pode ter sua atua o otimizada na avalia o de programas p blicos em nosso Pa s isto qual deve ser o papel desempenhado pelo Tribunal de Contas da Uni o na avalia o de programas p blicos no Brasil 1 O TRIBUNAL DE CONTAS DA UNI O NO PAPEL DE CONSULTOR Utilizando o modelo anal tico proposto o Tribunal pode desempenhar o papel de consultor organizacional de toda a administra o p blica n o s em n
311. rd Oxford University Press Addison Wesley 1999 PETERS G The Politics of Bureaucracy 4 Edition New York Longman 1995 POWER Michael Making things Auditable Accounting Organizations and Society 21 n 2 3 1996 pp 289 315 The Audit Society Rituals of Verification Oxford Oxford University Press 1997 RHODES R Reinventing Whitehall 1979 1995 pp 41 57 apud Kickert W Public Management and Administrative Reform in Western Europe Cheltenham Edward Elgar UK 1997 RIST R Program evaluation and the Management of Government New Brunswick NJ Trans action 1990 166 Pr mio Serzedello Corr a 2003 Monografias Vencedoras ROSE R Government against Sub governments a European Perspective on Washington Presi dents and Prime Ministers Washington D C American Enterprise Institute 1980 pp 47 82 SALISBURY H et al Triangles Networks and Hollow Cores The Complex Geometry of Wash ington Representation The Politics of Interests MP Petracca 1992 SHAND D ANAND P Performance Auditing in the Public Sector Approaches and Issues In OECD Member Countries Performance Auditing and Public Sector Modernization Paris OECD 1996 SCHICK A The Changing Role of the Central Budget Office Paris OECD GD 97 109 1997 SELF P Government by the Market The Politics of Public Choice Londres Macmillan 1993 TROSA s Gest o P blica por Resultados Quando o Estado se Compromete Editora Renava
312. realizar trabalhos de auditoria de desempenho De acordo com a legisla o auditoria de desempenho definida como um exame independente objetivo e sistem tico do gerenciamento e da administra o de uma organiza o programa ou fun o com o objetivo de e formar uma opini o sobre se a organiza o o programa ou a fun o est sendo gerenciada de maneira econ mica eficiente e efetiva e avaliar a adequabilidade de procedimentos internos com vistas a promo o e monitoramento dos 3 Es sugerir outros caminhos pelos quais as pr ticas de gerenciamento incluindo procedimentos para monitoramento de desempenho possam ser aperfei oadas O Escrit rio Australiano n o deve comentar sobre o m rito de pol ticas governamentais Entretanto pode examinar e relatar sobre e a qualidade das informa es e dos aconselhamentos sobre formula o de pol ticas p blicas fornecidas pelos altos funcion rios p blicos ao Governo e a exist ncia e a efetividade da m quina burocr tica destinada a informar ao Governo se as pol ticas p blicas est o alcan ando seus objetivos e a medida em que os objetivos estabelecidos para os programas governamentais est o sendo atingidos a economia a efici ncia e o desempenho dos meios escolhidos para implementar determinado programa governamental e os impactos esperados e n o esperados direta ou indiretamente 5 7 USTRIA Ao contr rio de outras corte
313. retamente para o aprimoramento do seu processo decis rio A exemplo do que ocorre em pa ses como o Canad e o Reino Unido o Congresso brasileiro poderia se interessar pela avalia o dos programas p blicos sob o ponto de vista da qualidade dos servi os prestados Nesse caso ao TCU caberia n o s analisar o grau de implanta o de sistemas de qualidade na administra o p blica mas tamb m avaliar a pr pria presta o dos servi os oferecidos pelos programas Como vimos v rias EFS avaliam o pr prio sistema de avalia o governamental fazendo diagn sticos sobre a capacidade do pr prio governo de se auto avaliar Na hip tese de futuras leis institu rem a obriga o de os programas p blicos no Brasil serem avaliados destinando parte do or amento para esse mister o TCU seria a institui o mais indicada para oferecer sua opini o externa e independente ao Congresso Nacional sobre a implementa o dessa sistem tica importante observar que uma vez implementado um sistema de avalia o no mbito da administra o p blica federal estaria aberta a oportunidade para o TCU utilizar metodologias do tipo meta avalia o ou seja explorar as avalia es anteriormente realizadas para chegar a conclus es v lidas reduzindo sobremaneira os custos de avalia o Observe se que embora a decis o de demandar ou n o trabalhos de avalia o seja do pr prio Congresso dentro da esfera de atua o do TCU repousa
314. risprudencial e precisa apenas ser desenvolvida de forma a tornar se instrumento efetivo de responsabiliza o A IN TCU n 12 96 BRASIL 1996 j exige a consigna o na presta o de contas anual de indicadores de gest o que permitam aferir a efici ncia a efic cia e a economicidade da a o administrativa levando se em conta os resultados quantitativos e qualitativos alcan ados pelos rg os da Administra o Direta e Indireta pelas empresas controladas pelos arrecadadores de contribui es parafiscais e pelos fundos Os mediante contratos de gest o por sua vez rg os e as entidades administrados devem apresentar indicadores estat sticos que permitam avalia o quantitativa e qualitativa do desempenho e do cumprimento das metas pactuadas inclusive se for o caso quanto lucratividade ou ao valor agregado sobre o capital investido utilizando sempre que poss vel ndices de desempenho compat veis com padr es internacionais Al m disso j existem delibera es do TCU no sentido de fazer constar nesses relat rios indicadores de desempenho constru dos durante auditorias de natureza operacional BRASIL 2002c Decis o n 589 2002 Plen rio BRASIL 2003b Ac rd o n 272 2003 Plen rio imprescind vel por m exercer efetivamente o controle sobre os resultados dos indicadores de mediante an lise desempenho publicando os de forma amig vel firmando parcerias com a m dia par
315. rma es acarrete o desaproveitamento de informa es realmente teis que permanecem escondidas em meio sobrecarga F A INFORMA O N O SE ESGOTA Muitos recursos s o finitos podendo extinguir se com o uso A informa o ao contr rio auto generativa podendo ser multiplicada por opera es de s ntese an lise e combina o Em organiza es onde a informa o flui com facilidade o valor da informa o pode ser potencializado pelas oportunidades de reciclagem e uso em novas situa es 4 3 BENEF CIOS DA INFORMA O APROPRIADA PARA P BLICOS EXTERNOS Al m de apoiar os processos internos auxiliando na tomada de decis es nas atividades administrativas e na melhoria da qualidade dos trabalhos t cnicos a informa o de qualidade oriunda de a es de controle de gest o pode proporcionar benef cios substanciais para o p blico externo do TCU O potencial da informa o para apoiar o cumprimento da miss o do Tribunal e fortalecer a gest o p blica o controle interno Ya e o controle social significativo A t tulo de ilustra o o Quadro 2 apresenta alguns benef cios relacionados ao reaproveitamento das informa es relativas avalia o pelos gestores p blicos de programas provenientes do Tribunal Quando o Tribunal contabiliza entre os impactos de suas a es de controle a redu o de despesas da ordem de R 4 4 milh es de 1999 a 2001 em fun o do redimensiona mento
316. rmance auditing avalia o de programas governamentais e outros controles orientados para o resultado com vistas a examinar sua aplicabilidade ao sistema de controle externo brasileiro Estudos recentes sobre as pr ticas de con trole das EFS com foco no desempenho gover namental demonstram a utiliza o do referencial te rico provido por duas escolas de avalia o governamental a Escola de An lise de Pol ti cas P blicas e a de Avalia o de Programas Tal referencial te rico vem sendo confrontado com a base de conhecimentos sobre processos de auditorias tradicionais das pr prias EFS e assim tem permitido a constru o de um delineamento metodol gico pr prio das institui es governa mentais de controle Este se constitui de m to dos e t cnicas de controle e avalia o que v m sendo empregados de forma sistem tica para analisar e avaliar a atua o das a es governa mentais Esse conjunto metodol gico espec fico de pr ticas de controle orientadas para resultado denominado internacionalmente de auditoria de desempenho performance auditing Assim argumenta se que a avalia o de programas deve ser abordada por institui es de controle em seu conceito mais amplo pois deve envolver todas as fases do ciclo de pol ticas p blicas formula o design implementa o e impacto Al m disso 04 Para Aucoin a quest o da governan a desdobra se em v rios n veis O primeiro n vel de
317. rrentes dessas mudan as para em seguida 24 O acompanhamento da atividade reguladora estatal na rea de infra estrutura um exemplo de como o foco do controle por resultados pode ser expandido com sucesso para outras dimens es da a o p blica 25 Estudos de Value for Money VFM conduzidos pelo NAO n o incluem avalia o de programas ou julgamento sobre conte do de pol ticas p blicas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 161 identificarem se poss veis pontos de melhoria da atua o do controle As reformas podem agir diretamente na atua o das EFS alterando seu mandato e seus poderes impondo o uso de t cnicas e novas formas de controle 2 alterar os objetos de controle e a sua estrutura ex privatiza o 3 criar novas formas de gerenciamento do setor p blico ex or amento por resultado governo por programas 4 gerar novos dados relevantes para o sistema de controle ex indicadores de desempenho 5 fazer que as EFS utilizem internamente t cnicas e abordagens gerenciais ex gerenciamento por resultados no mbito das EFS 6 criar crit rios espec ficos de efici ncia efetividade e economia com reflexos internos nas EFS 7 auxiliar as EFS a utilizarem t cnicas e metodologias aprendidas nos seus pr prios trabalhos de fiscaliza o ex utiliza o de t cnicas reguladoras nos trabalhos de audi toria benchmarki
318. rumento balizador dessas a es que visam prioritariamente a alocar recursos financeiros para a supress o de desigualdades De acordo com o art 165 da Constitui o Federal estruturou se o Projeto de Lei do PPA com a indica o das Diretrizes da A o do Governo e os Objetivos e as Metas da Administra o P blica Federal consolidados segundo grupos tem ticos e associados a A es e Projetos Atualmente o PPA assim se divide i Programas Final sticos resultam em bens e servi os ofertados diretamente sociedade Seus atributos b sicos s o denomina o objetivo p blico alvo 16 Esta discuss o ser pautada em breve pela implementa o do novo PPA 2004 2007 cuja data de aprova o no Congresso prevista para 31 de agosto de 2003 conforme preceitos constitucionais Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 89 indicadores f rmula de c lculo dos ndices rg os unidades or ament rias e respons veis pelo Programa ii Programas de Gest o de Pol ticas P blicas abrangem as a es de gest o de governo e s o compostos de atividades de planejamento or amento controle interno sistemas de informa o e diagn stico de suporte formula o coordena o supervis o avalia o e divulga o de pol ticas p blicas As a es assumem as peculiaridades de cada rg o gestor setorial iii Programas de Servi os de Estado resul
319. s rg os da Administra o P blica Federal e das estaduais Os trabalhos de auditoria realizados em 1998 trataram de aspectos administrativos Nos anos seguintes buscou se avaliar o resultado de programas de governo incorporando a quest o da equidade no escopo desses trabalhos As atividades e os programas avaliados foram NA REA DE SA DE e Planejamento da Aquisi o de Medicamentos para o Programa Nacional de Controle da Tuberculose Decisao 308 1999 P e Aloca o de Recursos no Programa de Preven o e Controle da Dengue Decis o 226 1999 P Programa Nacional de Imuniza es Decis o 404 2000 P Programa Reforsus Reorganiza o do SUS Decis o 570 2000 P Programa de Monitoramento e Preven o da Mortalidade Materna Decis o 780 2001 P Incentivo ao Combate s Car ncias Nutricionais ICCN Decis o 3 18 2001 P NA REA DE EDUCA O e Procedimento de An lise de Presta o de Contas adotado pelo FNDE Decis o 274 1999 P e Transfer ncia de Recursos Financeiros do FNDE Decis o 244 1999 P Programa Nacional de Alimenta o Escolar Decis o 596 2000 P Programa do Livro Did tico Decis o 621 2000 P e Programa Nacional de Informatica na Educa o Proinfo Decis o 389 200 1 P Programa TV Escola Decis o 519 2001 P NA REA DE MEIO AMBIENTE e Sistema de Cobran a de D bitos do IBAMA Decis o 65 1 1999
320. s t rio P blico m dia cidad o Programas e projetos p blicos Congresso Executivo gerente p blico m dia cidad o Valores adminis trativos Efici ncia efetividade economicidade qualidade desempenho governan a boas pr ticas Conformidade da gest o devido processo economici dade honestidade Efetividade eqiiidade distri bui o de justi a social Tipo de quest es Avaliativas descritivas de conformidade e ex planat rias De conformidade descri tivas Avaliativas e ex planat rias Natureza da de termina o reco A o governamental funcio naria melhor se A o governamental mais correta se Bem estar social melhorado se a a o governamental Provedora de servi os e normas que visem a regular a sociedade de forma eficiente e efetiva Esferaburocr ticado Estado que visa a implementar pol ticas p blicas de forma correta e honesta Provedor de servi os que visem ao bem estar coletivo menda o Concep o da administra o p blica Amea as para EFS Questionamento quanto legitimidade do rg o para exercer determina dos trabalhos exposi o Insulamento do rg o ima gem de ineficaz de ineficiente e de impedimento da modern iza o do servi o p blico pol tica Vulnerabilidade medida que as conclus es de seus trabalhos tratem de m rito de pol tica Avalia
321. s auditados e para o aperfei oamento n o s da a o governamental e do sistema de controle da Administra o P blica mas tamb m do controle social proporcionando aos cidad os condi es de melhor fiscalizarem as a es de seus representantes e de conhecer os resultados concretos alcan ados por meio dos programas governamentais No que tange aos resultados concretos das a es de avalia o de programas desenvolvidas pelo TCU tem se como refer ncia um levantamento realizado em 2002 pela Corte de Contas a respeito dos resultados da implementa o de recomenda es em auditorias de desempenho realizadas em exerc cios anteriores cujo resumo se encontra registrado no Quadro Em complemento s informa es contidas nesse quadro analisando se outros relat rios concernentes a auditorias de natureza operacional apreciados recentemente observa se que a avalia o de programas por parte do TCU tem trazido uma s rie de oportunidades de melhorias nos programas fiscalizados tais como a simplifica o de procedimentos amplia o do p blico beneficiado e evolu o dos indicadores de desempenho Programa Novo Emprego e Seguro Desemprego Decis o n 654 2002 TCU Plen rio b redu o dos ndices de evas o do p blico alvo e ado o de conjunto de indicadores de desempenho a serem usados para aprimorar os processos de monitoramento e avalia o do programa Programa Educa o de Jovens e Adultos Alfabetiza o
322. s da moralidade e economicidade n o s porque necessitam de conhecimen tos cient ficos de variad ssima gama mas porque tamb m envolvem ju zos t cnicos de dif cil persecu o e que devem a fina ser bem compreendidos e apreendidos 62 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Em raz o das limita es responsabiliza o por resultados e da falta de informa es que permitam avaliar o desempenho dos programas a um custo razo vel para o controle atualmente os titulares de rg os e departamentos que executam uma s rie de programas s o responsabilizados aspectos legais BRASIL 1988 art 70 par grafo nico Lei n 8 443 90 e IN TCU n 12 96 Esse enfoque absorve quase todo o esfor o do principalmente quanto a controle externo bem como a aten o da m dia e dos parlamentares 7 ESTRAT GIA DE A O PARA O TRIBUNAL DE CONTAS DA UNI O Sem esquecer o que j foi dito sobre a inter rela o entre as formas de responsabiliza o utiliza se a tipologia descrita no cap tulo quatro para desvendar uma estrat gia de inser o do Tribunal de Contas da Uni o nas diversas faces do controle Devota se especial aten o ao papel do TCU na responsabiliza o por resultado e na avalia o de programas p blicos 7 1 RESPONSABILIZA O POR RESULTADO A a o estatal deve ser ordenada por planos programas projetos e atividades sob a responsabilidade dos dirigentes dos diversos
323. s de cada um POLLITT 1999 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 45 O Brasil tem implementado reformas nos mais diversos setores nos ltimos anos T m se repensado as responsabilidades do Estado para com os cidad os e o papel da sociedade no controle do Estado e na implementa o das pol ticas p blicas necess rio encontrar um espa o virtuoso entre o incremento dos poderes do Estado e o incremento do controle sobre o Estado O governo precisa exercer seu poder e governar e os cidad os igualmente precisam exercer seu poder e controlar o governo ou diretamente ou por interm dio das institui es democr ticas PRZEWORSKI 1998 No contexto da reforma do Estado surgem discuss es sobre como o controle externo pode contribuir de forma efetiva para aumentar a responsabiliza o dos agentes p blicos para aperfei oar a a o de governo e para garantir sociedade que as informa es dispon veis sobre desempenho s o fidedignas Como resposta desenvolve se no mbito das Entidades de Fiscaliza o Superiores EFS um tipo de fiscaliza o que focaliza o m rito da a o p blica no lugar de enfatizar a conformidade dos procedimentos de gest o Segundo o modelo de or amento programa adotado no Brasil a a o governamental organiza se por programas Nesse ambiente a avalia o de programas p blicos reconhecida por pesquisadores e EFS dos pa ses cent
324. s de controle a estrat gia e a escolha de determinados modelos de controle de resultado adotados por essas institui es s o decorrentes de fatores pol ticos dentro dos Estados nacionais que d o forma e limitam ou expandem as possibilidades de atua o de uma entidade de fiscaliza o superior EFS em determinadas formas de controle Nesse sentido ser o comparados os rg os de controle externo da Inglaterra e dos Estados Unidos possibilitando dessa forma fazer infer ncias sobre o caso brasileiro A dimens o organizacional permite a discuss o e a an lise de mudan as que v m ocorrendo no mbito das EFS a fim de adequar suas estrat gias organizacionais para conduzir trabalhos de avalia o A dimens o organizacional revela ainda que o posicionamento o grau de independ ncia as habilidades espec ficas do corpo de auditores e o tipo de relacionamento de uma EFS com seus principais clientes receptores de suas informa es s o fatores tamb m determinantes das escolhas estrat gicas das EFS sobre a forma de condu o de trabalhos de controle governamental mais voltados a resultados e avalia o das pol ticas p blicas O estudo da dimens o gerencial ou da gest o do controle governamental permitir entender as transforma es de pr ticas de gest o p blicas voltadas a resultados e melhoria de desempenho tanto no mbito das administra es p blicas nacionais quanto das pr prias EFS Especifici
325. s de controle do TCU utilizados para produ o e transforma o de informa es relevantes de controle externo da Administra o P blica que visam a garantir a fidedignidade das informa es de controle bem como respaldar jur dica e tecnicamente as determina es e as recomenda es exaradas pelo Tribunal No mbito do TCU os m todos s o explicitados em manuais procedimentos e roteiros de auditoria Exemplos de manuais incluem Manual de Auditoria Operacional Manual de Auditoria de Sistema Procedimentos incluem procedimentos de licita es e contrato procedimentos de an lise de privatiza o entre outros Roteiros incluem Roteiro de Acompanhamento pelo Siafi e Extrator do Siape 07 T cnicas conforme definido neste estudo referem se a processos especializados de utiliza o harm nica com os m todos de controle para coleta an lise e dissemina o de informa es mais espec ficas T cnicas de controle do TCU incluem entre outras apresenta o de dados grupo focal matriz de planejamento matriz de achados benchmarking matriz de indicadores de desempenho mapas de produtos mapas de processo an lise RECI marco l gico an lise stakeholder an lise SWOT matriz de verifica o de risco entrevistas para auditorias 140 Pr mio Serzedello Corr a 2003 Monografias Vencedoras que apesar de press es externas para ado o de pr ticas de auditoria mais qualitativas no mbito das institui e
326. s europ ias de contas a Corte de Contas da ustria n o formada por um corpo colegiado Existe um membro da Corte que seu Chairman A Corte possui mandato que determina largo espectro de atividades relacionados auditoria de desempenho O arcabou o legal determina que a Corte deve revisar a legalidade a economia a efici ncia e a efetividade da atividade governamental 5 8 CANAD O Ato do Auditor Geral de 1977 estabelece que o Auditor Geral do Canad deve relatar Casa dos Comuns os casos em que tenha observado que o dinheiro p blico tenha sido empregado sem economia ou efici ncia ou ainda os procedimentos para estabelecer as medidas e a insufici ncia das informa es sobre a efetividade de programas O mandato para o Auditor Geral n o inclui a compet ncia para avaliar a efetividade de pol ticas p blicas somente quanto efici ncia e economicidade A avalia o da efetividade responsabilidade dos pr prios departamentos e das auditorias internas 152 Pr mio Serzedello Corr a 2003 Monografias Vencedoras O papel do Auditor Geral do Canad tem sido fundamental para a melhoria do gerenciamento do servi o p blico Talvez seja o mais exemplar caso de participa o de um rg o de auditoria no aux lio condu o de reformas administrativas Alguns dos estudos da Auditoria Geral incluem e identifica o de barreiras ao gerenciamento produtivo no servi o p blico e atributos de
327. s id ias da NGP como alternativas vi veis na agenda de discuss o para os processos de tomada de decis o governamental KINGDON 1984 relacionados com reformas administrativas desde o fim da d cada de 70 8 As id ias contidas na Nova Gest o P blica podem ser tamb m identificadas como respostas crescente preocupa o sobre a maneira pela qual a burocracia havia capturado o sistema pol tico e dessa forma passou a ditar as regras de formula o e implementa o de pol ticas p blicas Auco 1990 p 116 SELF 1993 p 157 Da mesma maneira ressaltou se a necessidade do restabelecimento da primazia de princ pios gerenciais sobre a m quina burocr tica METCALFE RICHARDS 1987 p 35 Nessa veia hist rica NGP mais bem caracterizada como a conjun o de id ias de duas escolas de pensamento Escola de Escolhas P blicas e a Escola Gerencialista que dominou os processos de 2 Barzelay 1997 p 392 identifica sete tipos de auditoria de desempenho 13 Uma vers o norte americana do termo Nova Gest o P blica denominada Reinventado o Governo 1992 encontrada no livro de mesmo nome de Osborn and Glaeber 1992 O livro de Barzelay Breaking Through Bureaucracy 1992 atribui o termo paradigma p s burocr tico para contrast lo com o paradigma anterior o burocr tico 14 Hood cunhou o termo New Public Management Nova Gest o P blica em seu artigo seminal A Public Management for Al
328. s sentem se como clientes dos servi os p blicos mas como benefici rios com toda a carga passiva dessa express o Desse modo as experi ncias de participa o efetiva dos cidad os na formula o na fiscaliza o e na avalia o das pol ticas p blicas s o limitadas Os poucos casos bem sucedidos brilham como diamantes em um cesto de feij es Portanto n o se pode perder de perspectiva a real situa o em boa parte da administra o p blica A percep o da corrup o est bem presente na sociedade brasileira e desperta rea es apaixonadas contra qualquer tentativa de libertar as ger ncias dos controles procedimentais em favor do controle por resultados Estudos citados por Rose Ackerman 2000 estimam que as comiss es il citas normais de 10 a 15 no Brasil cresceram para 30 a 50 durante o governo Collor Em 2001 o Brasil recebeu nota 4 0 em uma escala de 0 a 10 no ndice de Percep es de Corrup o da Transpar ncia Internacional encontrando se em posi o desfavor vel em compara o com muitos pa ses da Am rica Latina Existe nesse caso uma tens o entre a crescente e mundial preocupa o com a corrup o o que recomenda a limita o do poder dos funcion rios p blicos ROSE ACKERMAN 2000 e a recomenda o da NGP no sentido de deixar os gerentes gerenciarem Os mercados permeados pela corrup o s o sempre ineficientes e injustos se comparados a mercados legais Onde a corrup
329. salte se nesse ponto que o TCU deve fornecer mais informa es e aperfei oar a divulga o de seus trabalhos pois a visibilidade de suas a es na esfera de avalia es n o vem sendo notada por importantes atores no caso o pr prio Banco Mundial Conforme Garcia 2001 dada a estrutura do Plano Plurianual de Atividades do Governo Brasileiro pode se estabelecer os seguintes passos para avalia o desse Programa orienta es estrat gicas do PPA diretrizes macrobjetivos problemas programas com objetivos espec ficos a es com metas prazos e recursos definidos Agregue se estrutura do plano a nfase gerencial que a ele se deseja impor gest o dos programas e macrogest o do plano centrada na aplica o competente dos recursos com vistas obten o de resultados pretendidos Nesse contexto as avalia es requeridas segundo o autor s o as seguintes e de desempenho dos programas a cargo do gerente do programa dos resultados alcan ados por macrobjetivos governo e sociedade e e global do PPA quanto ao cumprimento dos objetivos e das diretrizes estrat gicos Governo Faz se necess rio destacar a imprescindibilidade do papel do controle externo em todas essas etapas auxiliando inclusive os gerentes a constru rem uma base de conhecimento para que possam aperfei oar os mecanismos de avalia o de sua pr pria gest o As ferramentas metodol gicas desenvolvidas pelo TCU s o bo
330. sca de se criarem diretivas para atua o desses rg os 142 Pr mio Serzedello Corr a 2003 Monografias Vencedoras otimizada especialmente no que concerne aos custos e de efetividade de programa examina o impacto provocado pelos programas sobre os resultados finais e de capacidade de gerenciamento do desempenho busca avaliar se o auditado tem capacidade para gerenciar processos e programas de forma eficiente e eficaz e de informa es de desempenho verifica a precis o de informa es n o financeiras geradas pelas entidades examinadas O rg o revisor n o avalia economia efici ncia ou efetividade de uma organiza o ou um programa mas sim formula um parecer sobre a veracidade das informa es de desempenho fornecidas s inst ncias superiores e de revis o da melhor pr tica de gest o identifica onde dado tipo de fun o est sendo desempenhado de forma excepcional e procura discernir as raz es daquele sucesso relativo e de avalia o de risco indica aos formuladores de pol ticas p blicas e aos gerentes do alto escal o os graves problemas que podem advir caso um programa seja mantido na mesma linha de opera o Esse tipo de auditoria de desempenho se diferencia das de efetividade de programa medida que n o necessita posicionar se quanto efetividade do programa O papel desse tipo de auditoria identificar formas pelas quais os programas existentes podem sofrer interrup o n
331. ses que v m buscando agregar a seu tradicional portf lio metodol gico de controle de legalidade e conformidade novos m todos e t cnicas voltados para aferi o e an lise do desempenho da gest o p blica Nesse contexto busca se delinear um arcabou o te rico doutrin rio mais consistente que os usuais o qual possa auxiliar o debate sobre a defini o do papel da EFS brasileira o Tribunal de Contas da Uni o na avalia o de desempenho governamental num ambiente de transforma es em pol ticas de gest o p blica orientadas a aumentar a efici ncia a economicidade e a efetividade do Setor P blico em busca de um governo de resultados As trajet rias de transforma o em pol ticas de gest o p blica decorrentes de experi ncias internacionais em reformas administrativas t m permitido a consolida o de novas teorias e doutrinas sobre o desej vel desempenho do Estado na sociedade e em consequ ncia autorizado v rios profissionais e estudiosos dos sistemas de controle a delinear o papel ideal de EFS N o objeto deste ensaio tratar da primeira trajet ria reformas administrativas Contudo um movimento dessa transforma o se mostra singular para o controle pois medida que se busca maior autonomia gerencial e flexibiliza o do aparato governamental os sistemas de controle como uma imagem refletida no espelho tendem a se tornar mais robustos e presentes nos processos de formula o e implem
332. st Avalia es ex ante precedem a implementa o do programa ocorrendo em geral durante a fase de formula o da pol tica p blica Nessa fase ocorre a concep o dos programas e a dos respectivos projetos por interm dio dos quais a pol tica p blica ganha exist ncia concreta no interior do aparato estatal CASTRO et al 2002 Nesse est gio tornam se oportunas as avalia es para produzir recomenda es de aperfei oamento do desenho ou ent o para o estabelecimento de um ponto de partida de desempenho para a realiza o de compara es futuras avalia o de efetividade Avalia es ex post s o realizadas durante ou ap s a implementa o do programa e objetivam aperfei oar os programas mediante a formula o de recomenda es que visem a melhorar sua efici ncia sua efic cia e sua efetividade Da defini o de avalia o ex post surge uma segunda classifica o baseada nas dimens es de desempenho a serem examinadas A avalia o formativa aborda quest es operacionais dos programas ligadas s dimens es de efici ncia e efic cia A avalia o somativa por sua vez estuda a efetividade impactos que pode ser atribu da aos programas COSTA 2002 A figura esclarecedora Fica patente por um 48 Pr mio Serzedello Corr a 2003 Monografias Vencedoras lado que a avalia o formativa trata de quest es internas aos programas e em geral na esfera de controle dos gestores Por outro lado a a
333. st ncia dos controles pr vios em nosso arcabou o jur dico e tamb m atua es a posteriori ou ex post de corre es de rumos que podem n o se mostrar efetivas ou no m ximo podem manter equ vocos que muitas vezes poderiam ter sido evitados caso houvesse discuss es formativas de pol ticas p blicas neste item que procuramos enfatizar a necessidade de mudan a do foco dos trabalhos do Tribunal Por isso nossa id ia 5 Manual T cnico de Or amento MTO 02 2003 p 13 de que o TCU deva atuar prioritariamente em avalia es de tipo formativas conforme argumentamos em seguida 6 2 ATUAL QUADRO DOS PROGRAMAS DE GOVERNO SEGUNDO O PPA O sistema de sele o de auditorias do TCU ao programas estrat gicos leva em conta as operacionais selecionar os especificidades regionais contidas no Plano Plurianual No caso brasileiro esse ajuste as necessidades nacionais feito pelo Plano Plurianual PPA estabelece os programas considerados estrat gicos para a log stica de governo Atualmente as auditorias operacionais feitas pelo TCU s o avaliadas a partir de an lises do Plano Plurianual do Governo o PPA que tra a as diretrizes macropol ticas para um quadri nio No atual PPA 2000 2003 est o tra ados 365 programas de governo subdivididos em fun es Existem ainda os chamados Programas Estrat gicos de Governo entendidos como o n cleo priorit rio nas agendas governamentais O PPA o inst
334. steja sempre presente Entre os aspectos a serem examinados mediante uma avalia o de programa destacam se i a sua concep o l gica ii a adequa o e a relev ncia de seus objetivos declarados ou n o e a consist ncia entre esses e as necessidades previamente identificadas iii a consist ncia entre as a es desenvolvidas e os objetivos estabelecidos iv as consequ ncias globais para a sociedade v os efeitos n o inclu dos explicitamente nos seus objetivos vi a rela o de causalidade entre efeitos observados e pol tica proposta vi os fatores inibidores do seu desempenho viii a qualidade dos efeitos alcan ados ix a exist ncia de outras alternativas de a o consideradas ou n o pela administra o e os respectivos custos envolvidos an lise de custo efetividade x o cumprimento de dispositivos legais aplic veis sua natureza aos seus objetivos e popula o alvo Segundo o Manual de Auditoria Operacional do TCU a auditoria de desempenho operacional focaliza o processo de gest o enquanto a avalia o de programa prioriza os efeitos produzidos pela interven o governamental No primeiro caso investiga se o funcionamento dos programas e dos projetos e o cumprimento 11 TRIBUNAL DE CONTAS DA UNI O Dispon vel em lt http www tcu gov br gt Acesso em 24 de julho de 2003 86 Pr mio Serzedello Corr a 2003 Monografias Vencedoras de metas quantific veis com
335. stia originalmente na aplica o sistem tica de procedimentos de pesquisa cient fica quantitativos e qualitativos para medir o impacto ou a efetividade dos programas de interven o social ROSSI amp FREEMAN 1993 Mais tarde passou a ser utilizada pelos governos de v rios pa ses como instrumento de an lise e reformula o de a es pol ticas e atividades governamentais em raz o da necessidade de readequa o por que passaram os governos em face da escassez de recursos e da press o para evitar aumentos de impostos A partir da percep o de que os recursos p blicos deixavam de beneficiar os contribuintes n o s por fraudes desvios e a es ilegais mas tamb m por desperd cio e inefici ncia da m quina governamental as Entidades de Fiscaliza o Superior EFS de todo o mundo desenvolveram a es sistem ticas de controle de resultados que complementam o tradicional controle de legalidade A avalia o de programas passou ent o a compor o elenco de atribui es das EFS Ao analisar em conjunto a import ncia da pr tica da avalia o de programas governamentais para o bom uso dos recursos p blicos e a relev ncia das EFS como atores no controle dos resultados da administra o p blica este trabalho objetiva analisar o papel do Tribunal de Contas da Uni o Entidade de Fiscaliza o Superior EFS do nosso Pa s no exerc cio da avalia o de programas p blicos Para a realiza o desse
336. stra preocupa o consider vel com a oferta de mecanismos de pesquisa filtragem e sele o de documentos facilitando significativamente a tarefa de localiza o de informa es relevantes pelos p blicos interessados 5 2 4 PUBLICA O AVALIA O DE PROGRAMAS DE GOVERNO O acesso rea Avalia o de Programas de Governo do site do TCU feita a partir de um link constante de sua p gina inicial encon trada no endere o lt http www tcu gov br gt Nela est dispon vel uma s rie de publica es contendo sum rios executivos de auditorias realizadas em programas sociais identificadas pelo nome dos programas aos quais dizem res peito o que agiliza a busca e a localiza o das informa es Apesar de assegurar acesso r pido ao resumo dos resultados das a es de avalia o de programas realizadas pelo TCU para interessados em aprofundar o estudo desses trabalhos de fiscaliza o o acesso aos relat rios completos n o facilitado O aviso constante da ltima p gina de cada um desses sum rios executivos Para leitura completa do Relat rio Voto e Decis o acesse a p gina do TCU na Internet no seguinte endere o www tcu gov br avaliagaodeprog ramasdegoverno leva o interessado a uma p gina inexistente na Internet mesmo com a retirada do acento e da cedilha da palavra avalia o Somado s dificuldades j relatadas para o acesso aos dados registrados no Sistema de Normas e Jurisprud
337. ta do Tribunal de Contas do Distrito Federal v 27 jan dez 2001 p 51 56 ALENCAR Jos Daniel de Dicion rio de Auditoria Bras lia Brasiliana 1984 ATA DE Pedro A B O Desenvolvimento da Cultura de Avalia o In BALAN O DA REFORMA DO ESTADO NO BRASIL A NOVA GEST O P BLICA ago 2002 Bras lia Anais Bras lia ENAP 2002 BRASIL Constitui o 1988 Constitui o da Rep blica Federativa do Brasil Bras lia DF Se nado 1988 BRASIL Decreto n 2 829 de 29 de outubro de 1998 Estabelece normas para a elabora o e a ex ecu o do Plano Plurianual e dos Or amentos da Uni o e d outras provid ncias Bras lia 1998a Dispon vel em lt htto www planejamento gov br gt Acesso em 1 ago 2003 BRASIL Decreto n 3 134 de 10 de agosto de 1999 Estabelece diretrizes e metas relativas revis o das estruturas dos Minist rios e d outras provid ncias Bras lia 1999a Dispon vel em lt http wwwt senado gov br legbras gt Acesso em 1 ago 2003 BRASIL Decreto n 4 120 de 7 de fevereiro de 2002 Disp e sobre a compatibiliza o entre a real iza o da receita e a execu o da despesa sobre a programa o or amentaria e financeira do poder executivo para o exerc cio de 2002 Bras lia 2002a Dispon vel em lt http wwwt senado gov br legbras gt Acesso em 1 ago 2003 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 69 BRASIL
338. ta e cinco por cento do Servi o P blico brit nico composto por servidores formados pelas Universidades de Oxford ou Cambridge Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 159 espec ficos de pol ticas p blicas e conseguem excluir de forma efetiva outros grupos ou autoridades governamentais que n o fa am parte dessa triangula o SALISBURY et al 1992 O Poder Executivo internamente dividido Departamentos e subdepartamentos podem ter tradi es em algumas inst ncias de pol ticas p blicas a que o Presidente da Rep blica deve dar aten o caso queira alcan ar os objetivos governamentais PETERS 1995 p 18 Essas inst ncias entretanto ao contr rio de sua contraparte inglesa s o um composto de servidores p blicos de carreira de elite think tankers e outsiders indicados pelo pr prio presidente Essa estrutura fragmentada do Executivo se espelha simetricamente em v rios comit s e subcomit s do Congresso A pol tica institucional dos Estados Unidos consiste em uma luta constante entre governos contra subgovernos ROSE 1980 Nesse ambiente fragmentado opera a EFS norte americana o General Accounting Office GAO A grande maioria dos trabalhos do GAO baseada em auditorias e avalia es de programas e pol ticas de governo Todavia existem outras responsabilidades relevantes atribu das ao GAO que incluem a prescri o de padr es de contabilidade
339. tam em bens e servi os ofertados diretamente ao Estado por institui es criadas para esse fim espec fico Seus atributos b sicos s o denomina o objetivo indicadores rg os unidades or ament rias e unidades respons veis iv Programas de Apoio Administrativo referem se ao conjunto de despesas relacionadas administra o da unidade Tais despesas devem ser entendidas como as que n o concorrem de forma direta para a produ o de bens ou servi os espec ficos gerados pelas a es fim Basicamente s o compostos por contribui o previd ncia remunera o de pessoal ativo e encargos sociais remunera o de militares das For as Armadas e administra o da unidade 7 REALIDADE FUTURA ENFOQUE DO TCU EM AVALIA ES FORMATIVAS O objetivo desta Monografia est focado em buscar direcionar as avalia es do TCU e consequentemente o papel do Tribunal nas avalia es de programas p blicos no Brasil aos tipos denominados como avalia o formativa Estudos de natureza formativa s o aqueles que se voltam para a an lise e a produ o de 7 Ibidem informa o relativas a etapas de implementa o de um programa ou uma pol tica p blica e fundamentalmente dizem respeito a aspectos que t m a ver com a forma o do programa A nfase desses estudos gerar feedback para aqueles agentes que est o diretamente ligados ao desenvolvimento ou implementa o dos programas enquanto estes est o em imp
340. tar a informa o essencial para a efic cia dos processos de dissemina o da informa o dados valiosos para gestores parlamentares ou cidad os podem ser desperdi ados caso estejam encobertos pela falta de padroniza o de termos pelo uso de jarg o excessivamente t cnico ou de linguagem obscura pelo n vel de detalhamento inadequado e por outras defici ncias de apresenta o da informa o A necessidade de padroniza o de termos e conceitos evidenciada no item 5 1 um dos aspectos importantes a serem considerados para o aprimoramento dos processos de formata o e estrutura o da informa o A falta de terminologia padronizada para referenciar trabalhos de avalia o de programas acarreta confus o para o usu rio externo da informa o dificultando a sele o dos termos mais apropriados para a pesquisa e a recupera o das informa es desejadas nas bases de dados disponibilizadas pelo Tribunal 128 Pr mio Serzedello Corr a 2003 Monografias Vencedoras Outros forma de apresenta o do conte do s o igualmente aspectos ligados melhor ofertada importantes para assegurar o aproveitamento da Davenport 2001 p seguinte coment rio como a formata o e a informa o 187 demonstra no estrutura o da informa o pode influir no seu valor percebido pelo usu rio Por causa do estilo sedutor e da apresen ta o concisa procuro o New York Times ou o Wall Street Journa
341. tematicamente considera a fun o recursos humanos como a mais alta prioridade da organiza o entre outros A id ia central desse crit rio que em v rias reas existe razo vel entendimento sobre o que constitui boa pr tica de gest o e ent o as atividades atuais do auditado podem ser comparadas com modelos ou padr es de bom gerenciamento benchmarking e boa governan a enquanto as boas pr ticas de gest o lidam com fatores internos organiza o o crit rio de boa governan a estabelece vis o sist mica e externa organiza o Relaciona se esse crit rio com a vis o de coordena o das a es governamentais a qual devido a uma s rie de fatores das administra es p blicas nacionais levam a fragmenta o e perda de sinergia e qualidade de servi o pode ser alcan ado o sucesso desse crit rio se um servi o p blico atinge as expectativas razo veis de seus usu rios e atendimento de metas envolve o estabelecimento da extens o na qual o rg o auditado fracassou ou obteve sucesso no atendimento de suas metas declaradas publicamente ou estabelecidas por normativos Na aplica o desses crit rios em cinco EFS estudadas pelos autores Inglaterra Fran a Holanda Finl ndia e Su cia concluiu se que modelos relacionados boa pr tica de gest o constituem grande parte dos trabalhos de auditoria de desempenho desenvolvidos por essas EFS Crit rios de efici ncia e de efetividade t m
342. tion of Supreme Audit Institutions INTOSAI 2002 conforme se verifica no trecho do documento Diretrizes Superiores representadas pela para Implementa o de Normas de Auditoria de Desempenho documento preliminar citado a seguir Em geral as EFS procuram atingir um ou mais dos seguintes objetivos a proporcionar ao poder legislativo ou autoridade competente um exame independente sobre a economicidade efici ncia e efetividade dos recursos e dos arranjos utilizados para a implementa o de programas de governo b identificar e analisar os ind cios de problemas relacionados com a economia efici ncia e efetividade dos programas governamentais nas reas em que estes apresentam baixo desempenho ajudando a entidade fiscalizada a melhorar a econo mia efici ncia e efic cia de suas a es e c informar sobre os impactos diretos e indiretos bem como sobre os inten cionais e n o intencionais gerados pelos programas identificando em que medida os objetivos formulados est o sendo alca n ados e as raz es pelas quais n o estejam sendo alcan ados mediante verifica o e an lise dos ind cios de problemas relativos a economia efici ncia e efic cia A clareza de objetivos permite divisar algumas provid ncias que visam a fortalecer a fun o avalia o e torn la efetiva no desempenho de seu papel Como ressaltado no mbito do ciclo de gest o a avalia o de pol ticas e programas deve
343. tivas para aloca o de recursos or ament rios e nas mudan as nas pol ticas e nos programas Aguilar amp Ander Egg 1994 mencionam ainda os seguintes objetivos ou potencialidades da avalia o de programas n estabelecer o grau de pertin ncia a capacidade que um programa tem de ser aplicado e resolver a situa o problema que Ihe deu origem n estabelecer a sufici ncia a capacidade de o programa fazer com que as atividades e tarefas sejam coerentes com as metas e objetivos analisar a efic cia efici ncia ou efetividade do programa determinar as raz es dos xitos e dos fracassos n facilitar o processo de tomada de decis es para melhorar e ou modificar o programa ou projeto n estabelecer at que ponto ocorreram outras conseq ncias ou efeitos imprevistos n estabelecer projetos do mesmo g nero em realidades semelhantes n compatibilizar a concess o de recursos escassos ou destinados a programas que competem entre si n revisar criticamente os pressupostos 1 HAVENS Harry S Informa o transmitida em palestra proferida em Washington D C junho de 1996 Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 19 te ricos que sustentam o programa e n aumentar o conhecimento sobre o problema que d origem ao programa 6 ESPECIFICIDADES A CONSIDERAR NA IMPLAN TA O DA AVALIA O DE PROGRAMAS Como toda inova o a avalia o de programas tem enfrent
344. to como agen te do povo na vigil ncia das a es do Estado e enfatizava a necessidade de implementa o de controles nas contas do Governo A instala o da Corte portuguesa no Brasil em 1808 e a Proclama o da Independ ncia em 1822 requereram a consolida o da administra o financeira do novo pa s Ja em 1845 por proposta do senador baiano Manuel Alves Brand o alentou se a id ia de cria o do Tribunal de Contas nos moldes das na es j constitu das E assim como o Tribunal de Contas de Portugal a Cour des Comptes da Fran a e da B lgica o Comptroller General dos Estados Unidos a Corte dei Conti da It lia e a Bundesrechnungshof da Alemanha tivemos o surgimento do Tribunal de Contas no Brasil com os mesmos ideais constitutivos e progressistas da poca Embora fruto de id ias anteriores a seu processo de cria o com a apresenta o de projetos ao Senado do Imp rio em 1826 e tamb m em 1845 o Tribunal de Contas da Uni o somente surgiu no contexto brasileiro a partir de 1889 Com a Proclama o da Rep blica adveio a necessidade de implementa o de um sistema mediador entre os poderes que pudesse resguardar as garantias aos cidad os Rui Barbosa na exposi o de motivos do Decreto 966 A de 7 de novembro de 1890 que culminou com a cria o do Tribunal de Contas no Brasil afirmara que o corpo de magistratura intermedi ria administra o e legislatura que colocado em posi o
345. toria de desempenho Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 139 avalia es podem ser realizadas n o somente em programas de governo mas tamb m e muitas vezes em pol ticas rg os e atividades governa mentais De fato v rias atua es governamentais de relevo para a sociedade n o se consubstanciam em programas e merecem ser analisadas sob o en foque dos resultados O que se argumenta que a avalia o de programas e a an lise de pol ticas p blicas aliadas a pr ticas de auditoria na esfera governamental formam um conjunto de m todos e t cnicas de controle de resultado desenvolvido por institui es de controle e denominado inter nacionalmente de auditoria de desempenho O argumento fundamental deste ensaio que a EFS brasileira ao contr rio do que ocorre com a brit nica por exemplo e mais proximamente com o modelo da norte americana possui legitimidade institucional em decorr ncia das caracter sticas socioculturais da administra o p blica nacional para atuar em todos os crit rios de auditorias de desempenho incluindo an lise de efetividade bem como realizar avalia o de programa que analise o impacto da atua o estatal Mais que isso o desenvolvimento de trabalhos pelas EFS demonstram que a distin o entre esses conceitos tende a desaparecer medida que a auditoria de desempenho est se firmando como uma disciplina aut noma cujo prin
346. tos esperados que motivaram a atua o institucional 84 Pr mio Serzedello Corr a 2003 Monografias Vencedoras QUADRO 1 TIPOS E CARACTER STICAS DOS ESTUDOS DE AVALIA O Dimens o Marco Zero 2 Monitoramento 3 Avalia o Formativa 4 Avalia o Somativa Examinada Diagn sticos Processo Ex post Resultado Cen rios Implementa o Levantamento de dados Acompanhamento Acompanhamento Exame e an lise de Caracteriza o pr vios para conceber de a es e tarefas de a es e tarefas objetivos impactos e o programa Dado fundamental para decidir executar ou vetar um programa Antes da concep o e da referentes ao plano de execu es fazer certo as coisas efici ncia Processo cont nuo referentes a conte do m todo recursos fluxos instrumentos e procedimentos durante a etapa de implementa o do programa fazer a coisa certa efic cia Coleta e registro de resultados ao t rmino e depois do t rmino do programa alcance das metas efetividade Coletas pontuais de Momento formula o do programa durante a dados espec ficos dados antes durante e Tempo execu o para avalia o depois do tratamento durante o processo de sendo que antes e implementa o durante podem contar com o aporte de s ries hist ricas e coletas de avalia es formativas Definir o cen rio de Identificar o Identificar os aspectos
347. tre as reas consideradas nos par metros estabelecidos pela Adfis foram selecionadas por n s as reas de Sa de Educa o Organiza o Agr ria Seguran a P blica Assist ncia Social Trabalho Gest o Ambiental Ci ncia e Tecnologia e Urbanismo Esta sele o excluiu algumas reas tais como Administra o Finan as e Rela es Exteriores em virtude de que estas acabaram por ser classificadas no grupo de Gest o de Pol ticas P blicas exclu do anteriormente por raz es metodol gicas 26 Diz respeito gest o e ao reconhecimento do TCU relativamente demonstra o de boa f 27 Defini o do National Audit Office Entidade de Fiscaliza o Superior do Reino Unido Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 99 economicamente significativo tem para a Administra o P blica Materialidade a import ncia relativa ou a representatividade do valor ou do volume de recursos envolvidos isoladamente ou em determinado contexto A seguir s o apresentados os crit rios especificados pelos programas de execu o descentralizada e institucionais Assim propomos novos padr es que permitam ao Tribunal ser mais efetivo em seus processos gerenciais de acordo com as premissas que permearam esse trabalho Foram definidos dois tipos de Matriz de Risco a serem aplicadas aos programas final sticos institucionais e descentralizados com o intuito de classific los e em um ranki
348. tui es singulares e de signific ncia constitucional distinta Contudo a ado o de uma posi o estrat gica de incluir a auditoria de desempenho em seu portf lio de revis o n o somente na repousa independ ncia na especializa o e no profissionalismo das institui es de controle Essas s o condi es necess rias mas n o s o suficientes O desenvolvimento das dimens es da auditoria de desempenho depende ainda mais fortemente do ambiente pol tico institucional que envolve uma EFS 5 Discuss o aprofundada sobre o pacote doutrin rio contido em filosofias administrativas encontrada em Hood and Jackson 1991 Cap tulo 8 e Hood 1994 Cap tulo 7 16 Hood and Jackson 1991 enxergam o campo de conhecimento do gerenciamento p blico como uma ci ncia dial tica na qual propostas de ado o de certos tipos de doutrinas dentre as diversas possibilidades de argumentos administrativos s o aceitas se o argumento que suporta essa proposta possui poder ret rico forte o bastante para convencer a audi ncia relevante Dessa forma a ascens o e o dom nio no clima de opini o sobre determinada filosofia administrativa mais bem explicada se o poder ret rico e de persuas o de determinado argumento administrativo analisado Em resumo o fator de aceita o 17 De acordo com esse autor a forma o da agenda de discuss o de um governo determina que mat rias ou problemas ser o abordados pelos formula
349. tureza dos processos representa grande obst culo para a busca e a recupera o de informa es por parte de usu rios interessados nas a es de controle de desempenho desenvolvidas pelo Tribunal A recupera o de documentos baseada nessa classifica o para retornar um resultado mais abrangente exigiria o uso como palavras chave de termos variados como auditoria operacional auditoria de natureza operacional e auditoria de desempenho Observe se ainda que os trabalhos de auditoria contemplados na s rie de publica es Avalia o de Programas de Governo dispon vel no site do TCU tamb m n o s o classificados no Sistema de Normas e Jurisprud ncia do Tribunal com esse t tulo o que acarreta grande dificuldade de processos nesse sistema por parte do p blico localiza o dos respectivos externo conforme descrito no item 6 2 1 a seguir 5 2 FALHAS OBSERVADAS NA DIVULGA O DA INFORMA O SOBRE AVALIA O DE PRO GRAMAS PELO TCU Indiscutivelmente a r pida evolu o das tecnologias da informa o e da comunica o ocorrida nas ltimas d cadas trouxe reflexos bastante positivos para o aprimoramento das rela es entre poder p blico e sociedade A Internet rede mundial de computadores sobressai nesse cen rio como elemento de grande import ncia para a aproxima o entre a Administra o P blica e o cidad o permitindo refor ar a transpar ncia da gest o expandir o acesso aos s
350. udos de avalia o ser mais eficiente j que os estudos de avalia o visam objetivamente ao funcionamento dos programas de pol ticas p blicas partindo de seus modos de funcionamento e de sua futura implementa o ao passo que a implementa o ser conseqii ncia dessas a es Assim os estudos de avalia o funcionariam tendo por finalidade captar a articula o dos resultados alcan ados em contraposi o aos resultados previstos nas agendas do Governo e as implementa es seriam modos de atua o dessas a es Desse modo melhor seria que tais estudos de avalia o consistissem em mecanismos usuais que pudessem permitir aos formuladores e aos implementadores de programas governamentais a tomada de decis es com maior qualidade identificando previamente os pontos fr geis e fortes dessas pol ticas de governo 9 IMPLEMENTA O DA PROPOSTA II Ao propormos segundo o item 7 1 uma adequa o proporcional desses programas aos trabalhos feitos pelo TCU estaremos considerando tamb m a necessidade de que haja sele o distributiva que abarque indistintamente todas as reas estrat gicas Para tanto enfatizamos a necessidade de que j no processo de sele o de auditoria que de suma import ncia para a consecu o de resultados haja correta divis o dos programas a serem auditados Caso haja 94 Pr mio Serzedello Corr a 2003 Monografias Vencedoras problemas nessa etapa todo o restante do
351. uito embora aceit veis Melhor seria que houvesse um sistema de avalia o que confrontasse padr es previamente estabelecidos de efici ncia efic cia e efetividade com os produtos gerados resultados e os impactos alcan ados Essa avalia o deveria receber ampla divulga o na m dia e ser usada pelos atores sociais para exigir ganhos de efici ncia o que fortaleceria o controle social O Congresso Nacional poderia ter papel de grande repercuss o nessa cobran a mediante por exemplo a realiza o de audi ncias p blicas com os gestores respons veis no mbito das Comiss es tem ticas ou nas Comiss es de Fiscaliza o 7 2 RESPONSABILIZA O MEDIANTE CONTROLE PARLAMENTAR A situa o privilegiada dos tribunais de contas na administra o p blica confere lhes amplo acesso s informa es governamentais bem como habilita o para entend las e trabalh las N o obstante a exist ncia de uma competente assessoria no Parlamento quase sempre essa familiaridade com dados sobre a execu o das pol ticas de governo n o compartilhada pelos membros do Congresso Nacional Nesse sentido bem conhecida em todo o mundo a assimetria de informa es entre os pol ticos e a tecnocracia tema analisado de modo interessante pelos estudiosos da teoria do agente principal Tal situa o cria oportunidade valiosa para que os tribunais gerem valor p blico MOORE 1995 ao suprir o titular do controle externo de inf
352. um estado de boa governan a repousa em um bom e respons vel governo Um governo respons vel aquele administrado por partidos pol ticos disciplinados e eleitos democraticamente Um bom governo aquele cujas pol ticas p blicas s o implementadas por um servi o p blico de carreira profissionalizado independentemente do ambiente pol tico mas sujeito a mecanismos de accountability pol tica Tratar se aqui das condi es de segunda ordem propostas por Aucoin quais sejam an lises e avalia es sistem ticas de pol ticas p blicas s o necess rias para um bom governo Para Sylvie Trosa a quest o da governan a se resume em criar mecanismos que permitam assegurar a exist ncia de bom equil brio entre a delega o e o controle Nesse contexto avalia es e an lises de pol ticas p blicas surgem como fundamentais para a governan a 05 Performance auditing o nome reconhecido internacionalmente como a modalidade de auditoria que visa a avaliar os aspectos de economicidade efici ncia e efetividade de programas pol ticas organiza es e atividades p blicas Evid ncias emp ricas demonstram que auditoria de desempenho inclui outras modalidades de revis o al m dos 3 Es tais como atendimento de metas boas pr ticas de gest o boa governan a capacidade de gerenciamento de desempenho an lise de risco qualidade de servi o entre outros Para discuss o do Estudo Performance auditing ser denominada audi
353. untos nem todos de interesse para gestores parlamentares ou cidad os que poderiam utilizar o conhecimento produzido pelo TCU para subsidiar suas a es Para que o TCU possa ofertar ao seu p blico alvo servi os e produtos informacionais adequadamente formatados para atender a necessidades espec ficas de informa o preciso desenvolver inicialmente um esfor o de compreens o dos usu rios dos dados provenientes do Tribunal e das suas reais demandas informacionais Se entender exatamente como a informa o est sendo ou pode vir a ser usada pelo seu p blico alvo a Corte de Contas pode adaptar os relat rios de atividades e publica es de modo a que seu conte do e sua forma de apresenta o correspondam mais precisamente s demandas e s expectativas dos diversos segmentos de usu rios da informa o 5 PONTOS FRACOS DOS PROCESSOS DE DISSEMINA O DA INFORMA O SOBRE AVALIA O DE PROGRAMAS NO MBITO DO TCU Como visto no Cap tulo anterior a adequada explora o da informa o proveniente de a es de avalia o de programas oferece oportunidades para substancial incremento dos impactos alcan ados pelo trabalho desenvolvido pelo TCU na rea de controle de gest o Neste Cap tulo ser o analisados alguns pontos fracos observados nos processos de dissemina o de informa es do TCU Este estudo tem como foco principal a informa o sobre avalia o de programas destinada ao p blico externo m
354. ursos a produtividade e a extens o em que os objetivos de pol ticas p blicas s o atingidos 2 O Auditor Geral promoveu a integra o da auditoria de desempenho com os proces sos de auditoria financeira Como resultado houve profunda remodelagem dos processos de elabora o or ament ria permitindo ao Parlamento ter acesso a informa es sobre recursos utilizados atividades desenvolvidas e resultados Esse fato promoveu ambiente audit vel e permitiu a constru o de uma base de conhecimento Power 1996 para auditoria de desempenho 3 O Escrit rio do Auditor Geral desenvolveu um sistema de controle de qualidade na maioria dos relat rios de auditoria de desempenho Esse procedimento possui muitas similaridades com os sistemas de revis o de relat rios entre a maioria das firmas internacionais de auditoria 5 10 ALEMANHA A responsabilidade pelo controle externo da administra o p blica alem da Corte Federal de Auditoria e das Cortes Estaduais de Auditoria Existem escrit rios locais de auditoria nos munic pios bem como escrit rios de pr auditoria nos minist rios Quatro tipos de auditoria de desempenho podem ser destacados no mbito da Corte Alem e auditoria de efetividade e avalia o de programas e an lise de custo benef cio de pol ticas p blicas Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 153 e auditoria concomitante de programas e
355. va requer se primeiramente o reconhecimento da atua o diferenciada do TCU nas avalia es de programas no Brasil distinto da atua o de outros rg os mas com a mesma inten o o aperfei oamento O ponto seguinte para que se implemente a postura de Ya avalia o formativa o estabelecimento de novos di logos do TCU com os atores pol ticos respons veis pela implementa o de pol ticas p blicas no Brasil pois o tipo de avalia o formativa ao se aproximar do conceito de controle concomitante o que mais desej vel em se tratando de aperfei oamentos poss veis dessas pol ticas p blicas requer tamb m o estabelecimento de inst ncias que estejam em Avalia o de Programas P blicos no Brasil o papel do Tribunal de Contas da Uni o 93 busca desse aprimoramento Como atualmente os processos avaliativos brasileiros feitos pelo TCU e mesmo em grande parte pelo Governo visam a corre es dos processos a serem implementados luz da efetividade de pr ticas anteriormente pensadas tal implementa o vista apenas como uma seq ncia baseada em um diagn stico pr vio da formula o de pol ticas p blicas cujas metas e par metros da atua o estatal s o estabelecidos em vista de objetivos pol ticos tra ados O grande equ voco de se olhar a implementa o apenas com instrumentos posteriores de corre o o de que certos atos de governo podem se mostrar bem intencionados em sua origem m
356. valia o somativa trata da modifica o da realidade provocada pelo programa e trabalha com vari veis afetadas por outros programas ou fatores socioecon micos que n o s o control veis pelo gestores ou que est o apenas na sua esfera de influ ncia Apesar de considerar os termos avalia o somativa e formativa inadequados Draibe 2001 se preocupa em distinguir as avalia es de resultados ou impactos das de processos As primeiras tratam de resultados impactos e efeitos Os resultados s o os produtos finais do programa previstos em suas metas e derivados do seu processo particular de produ o Os impactos s o as altera es na realidade provocadas pelo programa Os efeitos se referem a impactos secund rios do programa ou a impactos n o esperados que afetam os meios social e institucional As avalia es de processos por seu turno referem se ao desenho do programa e aos sistemas de implementa o FIGURA I TIPOS DE AVALIA O Enact davies Eta petite Meal otras pores Andingis Fernie oficiiecds pocion afladoia RE Fonte Adaptado do Manual de Auditoria do TCU BRASIL 2000c As chamadas avalia es experimentais quase experimentais e n o experimentais mencionadas por Draibe 2001 s o na verdade estrat gias metodol gicas utilizadas em avalia o de impacto TCU 2000b 2 2 IMPORT NCIA DA AVALIA O PARA A GEST O DE POL TICAS P BLICAS E A RESPONSABILIZA O POR RESULTADOS A pol tica p b

Pr.mio Serzedello Corr.a 2003 - Miolo.indd

Contents

Download Pdf Manuals

Related Search

Related Contents