Twig extension: fix case when accessing property of an array casted into object

Fix double free

Enhancements for twig extension

- Fix extension memory leak
- Fix gcc compile warning (cast to const char *)
- Add TWIG_HAS_DYNAMIC_PROPERTY
- Remove the previous translation of 'array_key_exists($item, $object)'
  into TWIG_ARRAY_KEY_EXISTS when checking object property because what
  it really means is property_exists which has already been handled by
  TWIG_HAS_PROPERTY and TWIG_HAS_DYNAMIC_PROPERTY
- Fix native extension spacing

Fix NativeExtensionTest

Native extension: handle dynamic properties defined in the get_properties handler in a per instance fashion.

updated CHANGELOG

tweaked docs

merged branch drak/reusable_fixtures (PR #805)

Commits
-------

36372c6 Made node tests reusable

Discussion
----------

Reusable tests and fixtures

This PR makes Twig integration testing reusable for 3rd party extensions.

I have implemented resuable functional tests.

The [test runner](https://github.com/zikula/core/blob/master/src/Zikula/Bundle/CoreBundle/Tests/Twig/IntegrationTest.php) and the [fixtures](https://github.com/zikula/core/tree/master/src/Zikula/Bundle/CoreBundle/Tests/Twig/Fixtures) are the only part that an extension needs to implement itself.

I've included documentation in the PR.

---------------------------------------------------------------------------

by jusuff at 2012-08-11T20:41:55Z

This PR would make things little easier. Right now tests are organized in confusing way and are hard to implement for Twig extensions

---------------------------------------------------------------------------

by drak at 2012-08-14T09:09:45Z

@fabpot - This is ready for merging now. When it's merged I'll update the documentation as this PR significantly eases our ability to test extensions.

---------------------------------------------------------------------------

by fabpot at 2012-09-16T14:28:16Z

@drak Do you plan to update this PR with the code you have in Zikula?

---------------------------------------------------------------------------

by drak at 2012-09-16T14:37:30Z

@fabpot - Yes, I just need a couple of days (or less).

---------------------------------------------------------------------------

by drak at 2012-09-17T12:00:34Z

@fabpot - I have ported over the code.

---------------------------------------------------------------------------

by drak at 2012-09-18T08:23:18Z

@fabpot - I updated Zikula to us this particular branch so there is a practical test. I've updated the links in the top description part of this PR with the relevant links. The PR also refactors Twig's core tests to use the re-usable test base classes.

---------------------------------------------------------------------------

by fabpot at 2012-09-18T09:01:10Z

@drak Can you squash your commits before I merge? Thanks.

---------------------------------------------------------------------------

by drak at 2012-09-18T09:14:08Z

@fabpot - I've squashed them now. Thanks!

Made node tests reusable

merged branch hason/loader (PR #838)

Commits
-------

c503287 Fixed typo in Filesystem loader

Discussion
----------

Fixed typo in Filesystem loader

Fixed typo in Filesystem loader

added missing information in the doc

merged branch fabpot/named-paths (PR #772)

Commits
-------

7e5acd1 fixed some possible warnings
f0d0d6d fixed typo
b7076fe added Twig_Loader_Filesystem::getNamespaces()
8f7ccd1 moved an exception
9426072 tweaked documentation
b9afa84 renamed the default filesystem namespace to __main__
c34541d changed notation of namespaced templates to @namespace/template_path
0eb4d01 added namespaced templates support in Twig_Loader_Filesystem
c24ea1b added Twig_Loader_Filesystem::prependPath()

Discussion
----------

added namespaced templates support in Twig_Loader_Filesystem

Everything is explained in the updated documentation.

Basically, it gives more flexibility when it comes to manage many templates that are not necessarily related (think frontent vs backend for instance, or templates from different Symfony bundles, ...). It is useful if, for each namespace, you need to look for templates in different directories. This implementation would probably be enough to replace the current Symfony bundle template paths, with more flexibility and less restrictions.

Feedback is more than welcome. One thing I'm not sure about is the `#` separator between the namespace and the template path. Is it the best choice? We need a character that is not used in filesystem paths, so good candidates are: `@`, `!`, `%`, `$`, `*`, `;`, `?`.

Some immediate benefits: give the same template flexibility that we have in Symfony to other frameworks using Twig like Silex. Another benefit would be the ability to share template between Symfony and other frameworks like Twig (more on a proof of concept later).

---------------------------------------------------------------------------

by alessandro1997 at 2012-07-14T16:25:42Z

This is very nice, and I think # is a great choice for the separator character. We could also use @.

---------------------------------------------------------------------------

by jjbohn at 2012-07-14T16:25:59Z

:+1: for #

---------------------------------------------------------------------------

by Symfomany at 2012-07-14T16:27:45Z

Pipe character isn't candidate?

---------------------------------------------------------------------------

by inspiran at 2012-07-14T16:32:52Z

I remember from the wetter.com talk at sf live that they actually implemented a similar functionality: allow twig templates to be defined different from the default path.   So they had something like:

{% extends "cms://Home/weather/..."  ... %}
If we could make the "cms" part a configurable setting then one could use it to point to a custom folder or even to a content provider (symfony cmf?)

Maybe that would be another approach?

---------------------------------------------------------------------------

by fabpot at 2012-07-14T16:33:21Z

The other syntax possibility is something more like we have in Symfony: `@namespace/template_path`.

---------------------------------------------------------------------------

by fabpot at 2012-07-14T16:34:37Z

@inspiran: that's another possibility: use the PHP stream notation.

---------------------------------------------------------------------------

by mvrhov at 2012-07-14T16:36:18Z

I'd also prefer uri/php streams syntax...

---------------------------------------------------------------------------

by Tobion at 2012-07-14T16:41:16Z

On Windows I can create a file with `#` in it. How does it distinguish that? I don't think we will find a single seperation character that works on all file systems, do we? And `@` (e.g. namespace@file) would be semantically strange (unless you read it from right-to-left).
So I'd also prefer uri/php stream syntax.

---------------------------------------------------------------------------

by Symfomany at 2012-07-14T16:43:17Z

@fabpot  Pointer Syntax? or greater than character?

---------------------------------------------------------------------------

by markstory at 2012-07-14T16:43:48Z

I'm in favour of the `foo://` style syntax.  It is similar to other parts of PHP, and avoids overlap with filesystem characters, and doesn't introduce new unique syntax.

---------------------------------------------------------------------------

by stof at 2012-07-14T16:44:25Z

@fabpot ``@namespace/template_path`` would make it confusing in Symfony. Because locating a resource with the kernel would use ``@AcmeDemoBundle/Resources/views/layout.html.twig`` whereas Twig would find the same file as ```@AcmeDemoBundle/layout.html.twig``.

And none of ``#``, ``@``, ``!``, ``%``, ``$`` or ``;`` is forbidden in filenames on Windows.

So I think the URI/stream notation is fine

---------------------------------------------------------------------------

by maryo at 2012-07-14T16:46:44Z

On Windows @!%$; are valid. Invalid characters are \/:*?"<>|

---------------------------------------------------------------------------

by maryo at 2012-07-14T16:47:55Z

Is > allowed on Linux?

---------------------------------------------------------------------------

by jschreuder at 2012-07-14T16:49:17Z

Some thoughts from a non-Symfony user:

* Not sure about the `#`, on the one hand it is used as the comment character on the other hand I'm also familiar with it as a membership operator (which supports its usage)
* The streams/PHP syntax: I don't really like this, the syntax signifies some type of protocol to be used. Even stretched to the limits of its definition you wouldn't be able to define different namespaces as different protocols (same protocol, different location).
* `@namespace/file/path` - kind of like this one, the `@` signifies that it is followed by a special symbol (being the namespace name) and other than that a normal path.
* Another option we've used in Fuel is the double colon `::` as in `namespace::file/path` (like the `#` it signifies membership, but doesn't have another significance in Twig)

---------------------------------------------------------------------------

by gunnarlium at 2012-07-14T17:10:15Z

Does it matter what symbols are valid in filenames? Won't the separator just be used for exploding the string into namespace and path, and thus never be used to directly access a file?

---------------------------------------------------------------------------

by alessandro1997 at 2012-07-14T17:15:27Z

As @gunnarlium said, what's the problem with filenames?

```php
$path = 'namespace#new#page.html';
$parts = explode('#', $path, 2);
list($namespace, $filename) = $parts;

// "namespace and "new#page.html"
var_dump($namespace, $filename);
```

---------------------------------------------------------------------------

by stof at 2012-07-14T17:16:19Z

@gunnarlium the issue is that if you use this symbols in the filename of your template without namespace, Twig will consider it as a namespaced template for another file name

---------------------------------------------------------------------------

by stof at 2012-07-14T17:16:45Z

@alessandro1997 the issue is that namespaces are optional

---------------------------------------------------------------------------

by alessandro1997 at 2012-07-14T17:17:07Z

@stof Oh, right. I didn't get that :-)

---------------------------------------------------------------------------

by gunnarlium at 2012-07-14T17:20:32Z

@stof Ok, I see. So what we want is a symbol which is not allowed as a filename? Or (suboptimally) just add a requirement that template filenames can't contain certain reserved symbols?

---------------------------------------------------------------------------

by fabpot at 2012-07-14T17:23:37Z

But then, who is using `#` in a filename?

Anyway, I'm going to implement a version based on PHP streams to stick to the PHP way. Using a PHP stream might also allow us to get rid of the array loader.

---------------------------------------------------------------------------

by alessandro1997 at 2012-07-14T17:24:01Z

@gunnarlium But how would we check if the user is using reserved symbols in template names? Twig isn't aware of the available templates' names until the user requests them. And when he/she does it's too late because Twig doesn't know if the separator is used as namespace or if it's part of the filename.

---------------------------------------------------------------------------

by stof at 2012-07-14T17:33:38Z

@fabpot even if no sane guy would probably use ``#`` in a filename, it would mean that Twig assumes that all its userbase is sane :)

---------------------------------------------------------------------------

by lolautruche at 2012-07-14T18:51:53Z

-1 for #
+1 for php stream, though I agree with @jschreuder's arguments against it
+2 for @ syntax like in Symfony. I find it more consistent.

---------------------------------------------------------------------------

by fabpot at 2012-07-14T19:50:31Z

One problem with PHP streams is that it makes using template names quite ugly and verbose:

    {% include 'twig://namespace/index.html' %}

And for non-namespaced templates:

    {% include 'twig:///index.html' %}

for which we can provide a shortcut:

    {% include 'index.html' %}

---------------------------------------------------------------------------

by fabpot at 2012-07-14T19:54:35Z

If we are using `@` like in Symfony, it will be:

    {% include '@namespace/index.html' %}

And for non-namespaced templates:

    {% include 'index.html' %}

And for Symfony users, the notation would be the same as for resources. If we register each bundle path as a namespace, the path would even be exactly the same:

    {% include '@AcmeDemoBundle/Resources/views/layout.html.twig' %}

EDIT: that's not so simple because of the templates stored under `app/`.

---------------------------------------------------------------------------

by mahono at 2012-07-14T19:56:54Z

might not be the best idea, but what about using Backslash as namespace char?

---------------------------------------------------------------------------

by fabpot at 2012-07-14T19:57:50Z

@mahono: I have not dared to propose this alternative ;)

---------------------------------------------------------------------------

by fabpot at 2012-07-14T20:06:17Z

I've just made an additional commit that implements the `@namespace/template_path` notation.

---------------------------------------------------------------------------

by Baachi at 2012-07-14T20:32:41Z

The `@` syntax is the most consistent solution.
But the integration in symfony2 is really hard and a BC break.

The stream syntax is not a good solution.
`twig` might already be already registered as a stream.

I would suggest the `::` syntax.

fixed some possible warnings

fixed typo

merged branch loalf/patch-1 (PR #835)

Commits
-------

5c805a1 Update doc/intro.rst

Discussion
----------

Update doc/intro.rst

How to load Twig using Composer

Update doc/intro.rst

How to load Twig using Composer

merged branch pborreli/patch-1 (PR #834)

Commits
-------

2c1be8f Fixed typo

Discussion
----------

Fixed typo

http://english.stackexchange.com/questions/3640/is-substract-versus-subtract-a-proper-word

Fixed typo

http://english.stackexchange.com/questions/3640/is-substract-versus-subtract-a-proper-word

added a small clarification in the doc

added more information about single-quoted vs double-quoted strings

merged branch franmomu/patch-1 (PR #821)

Commits
-------

93b41c3 [Test] Fix double semicolon

Discussion
----------

[Test] Fix double semicolon

[Test] Fix double semicolon

merged branch tkoomzaaskz/master (PR #819)

Commits
-------

682b0aa improved twig docs: twig for templates designers, NetBeans PHP IDE supports twig natively from 7.2

Discussion
----------

twig for template designers: NetBeans 7.2 supports twig natively

from NetBeans 7.2 twig support is native and does not have to be installed manually.

http://plugins.netbeans.org/plugin/40565/php-symfony2-framework
quote:
Yes; this extension will be part of NetBeans 7.2, more information here [1].
Tomas
[1] http://blogs.oracle.com/netbeansphp/entry/initial_support_for_symfony2

https://blogs.oracle.com/netbeansphp/entry/initial_support_for_symfony2

I checked it myself - installed NB7.2 and it wonderfully highlights twig.

improved twig docs: twig for templates designers, NetBeans PHP IDE supports twig natively from 7.2

made a better test

fixed an error when a token parser pass a closure as a test to the subparse() method (closes #818)

bumped version to 1.9.3-DEV

prepared the 1.9.2 release

updated CHANGELOG

fixed the in operator for objects that contains circular references (closes #813)

fixed CS

merged branch Banane9/patch-1 (PR #817)

Commits
-------

ca3b156 Added Highlighter for Notepad++ to the list

Discussion
----------

Added Highlighter for Notepad++ to the list

Ok I edited it :)

updated CHANGELOG

Added Highlighter for Notepad++ to the list

merged branch arnaud-lb/792 (PR #814)

Commits
-------

8fa97bb php5.2 fix
d6fc86a [Tests] Test accessing a public property when \ArrayAccess is implemented
6704227 [ext] made ext consistent with 8ec73cf4759f90b961de1732da1732e60c1dbfff
228d2b0 [ext] use only read_property handler

Discussion
----------

Alternative fix for 792

This fixes #792 as described in https://github.com/fabpot/Twig/issues/792#issuecomment-7482480

- 228d2b0 removes the *object-to-array convertion* trick, since the bug comes from there, and it doesn't appear to be needed
- 6704227 is the equivalent of aa6b8358161e4ef35299be06a5ff61bfcba46f6a + 8ec73cf4759f90b961de1732da1732e60c1dbfff (this were not needed before because the bug was hidden by the object to array trick: numeric strings and integers are treated equally in arrays keys)

---------------------------------------------------------------------------

by stof at 2012-08-23T10:19:17Z

@arnaud-lb you need to fix the PHP 5.2 support

merged branch arnaud-lb/fix-zts-5.2 (PR #815)

Commits
-------

46ce339 [ext] fixed php 5.2 ZTS builds

Discussion
----------

[ext] Fixed php 5.2 ZTS builds

In 5.2 zend_hash_apply_with_arguments() and its callback argument do not have a TSRMLS.

[ext] fixed php 5.2 ZTS builds

zend_hash_apply_with_arguments and its callback argument do not have a
TSRMLS in php 5.2.

php5.2 fix

[Tests] Test accessing a public property when \ArrayAccess is implemented

Test case for GH-792

[ext] made ext consistent with 8ec73cf4759f90b961de1732da1732e60c1dbfff

[ext] use only read_property handler

merged branch arnaud-lb/807 (PR #812)

Commits
-------

3ca6654 avoid crash when TWIG_GET_ARRAY_ELEMENT returns NULL
3694d4b allow --EXCEPTION-- tests to have a --DATA-- block

Discussion
----------

Fix for #807 (Segmentation fault when exception thrown inside any of ArrayAccess implementation methods)

This fixes #807

avoid crash when TWIG_GET_ARRAY_ELEMENT returns NULL

fixes #807

allow --EXCEPTION-- tests to have a --DATA-- block

merged branch garak/patch-1 (PR #809)

Commits
-------

fce92f8 Update doc/templates.rst

Discussion
----------

Update doc/templates.rst

Komodo and Komodo Edit have builtin Twig support since last version (7.1)

Update doc/templates.rst

Komodo and Komodo Edit have builtin Twig support since last version (7.1)

merged branch sdepablos/master (PR #802)

Commits
-------

b98fff1 Added missing abs and date_modify functions to the filters toctree

Discussion
----------

Added missing abs and date_modify functions to the filters toctree

Both abs.rst and date_modify.rst were createad, but were not linked on the filters toctree

Added missing abs and date_modify functions to the filters toctree

added a test to verify that the merge filter actually behaves like said in the documentation (closes #789)

fixed typo

added Twig_Loader_Filesystem::getNamespaces()

moved an exception

tweaked documentation

renamed the default filesystem namespace to __main__

changed notation of namespaced templates to @namespace/template_path

added namespaced templates support in Twig_Loader_Filesystem

added Twig_Loader_Filesystem::prependPath()

bumped version to 1.9.2-DEV

prepared the 1.9.1 release

reverted partially a previous commit

This code was not only useful for macros but also when you call a method on
a template instance -- this is not recommended/supported but used by the Symfony profiler)

optimized macro calls when auto-escaping is on (closes #779)

moved some macro related logic to the generated code

merged branch acasademont/patch-1 (PR #781)

Commits
-------

ee87848 Little typo
c31dd7b The empty test now also checks for empty arrays

Discussion
----------

The empty test now also checks for empty arrays

Little change in the docs to reflect that, as i had to check the source code to see if it worked

Little typo

The empty test now also checks for empty arrays

updated CHANGELOG

merged branch pborreli/master (PR #771)

Commits
-------

1c98282 Removed duplicate array keys
30a168c Fixing typos

Discussion
----------

Fixed typos

fixed typo in previous merge

merged branch Nami-Doc/patch-1 (PR #773)

Commits
-------

a6f03bd Reverse argument for number_format

Discussion
----------

Reverse argument for number_format

Just a little fix, the doc isn't following twig/php's argument order

merged branch havvg/patch-1 (PR #777)

Commits
-------

0869d15 fix example autoescape for javascript

Discussion
----------

fix example autoescape for javascript

{% autoescape js %} triggers an exception "An escaping strategy must be a string or a Boolean in .."

added a note about accessing variable attributes that contains operators (closes #775)

made Twig_Loader_Chain more explicit about problems

fix example autoescape for javascript

{% autoescape js %} triggers an exception "An escaping strategy must be a string or a Boolean in .."

merged branch Tobion/patch-6 (PR #774)

Commits
-------

9d1f645 fix Twig_Function_Node extending wrong class

Discussion
----------

fix Twig_Function_Node extending wrong class

fix Twig_Function_Node extending wrong class

Reverse argument for number_format

refactored the loader documentation

Removed duplicate array keys

Fixing typos

bumped version to 1.9.1-DEV

prepared the 1.9.0 release

fixed the template escaper guesser example

clarified usage of the string and array loaders

merged branch Adel-E/patch-1 (PR #767)

Commits
-------

0cb37ba Fix typehint "int" to "integer"

Discussion
----------

Fix typehint "int" to "integer"

---------------------------------------------------------------------------

by nikic at 2012-07-09T21:13:48Z

Why would you want to do that?

---------------------------------------------------------------------------

by Adel-E at 2012-07-09T21:21:34Z

Because in this file all @param use integer instead of int

scaled back on named HTML entities since HTML 5's XML serialisation is actually XML (not XHTML)

see https://github.com/zendframework/zf2/commit/d5862587ae7c2ff2da873f1bf30003103134a365

made the parsing independent of the template loaders

This basically reverts 57ff88255ef35ad8da325d0cb0bf140e653b132c

fixed PHP 5.2 issue in unit tests

fixed exception trace when an error occurs when rendering a child template

Fix typehint "int" to "integer"

fixed composer version

merged branch shieldo/patch-2 (PR #763)

Commits
-------

4e4d41b improved English in example text

Discussion
----------

improved English in example text

improved English in example text

merged branch stealth35/sanitize_ext (PR #761)

Commits
-------

9229ef3 Removed useless code

Discussion
----------

[Ext] Removed useless code

All init hooks could be bypassed (just return `SUCESS`)
There is no `ini` entries and no globals
Phpinfo automatically get the version when `MINFO` is null
Twig don't work with PHP 4 (ref to `20010901`)

Removed useless code

fixed PHP 5.2 incompatibilty

fixed url escaping strategy for PHP 5.2

merged branch Seldaek/date_modify (PR #760)

Commits
-------

2c9e26e Fix date_modify filter for PHP 5.2

Discussion
----------

Fix date_modify filter for PHP 5.2

The return of the object was added in 5.3, this hopefully fixes it.

Fix date_modify filter for PHP 5.2

added support for more escaping strategies (url, css, and html_attr)